Роботс.тхт закрывает ли страницы для индексации

[Удален]
519

Здравствуйте. Надо порезать для гугла дубли страниц на укозе. их много тысяч. Спрашиваю: осуществимо ли это с помощью закрытия дублей от индексации, в robots.txt подобно яндексу?

Киньте в меня матами или ссылками и т.д. Вот, еще можете проголосовать:

Закроются ли дубли страниц от роботов, если я их запрещу через Robots.txt?

да
30% (3)
нет
50% (5)
что такое robots.txt?
20% (2)
Всего проголосовало: 10
september
На сайте с 11.09.2009
Offline
591
#1

Да, закроет, но это ему не помешает посещать закрытые страницы.

Для укоза вполне достаточно такой robots.txt:

User-agent: *
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
K
На сайте с 02.11.2011
Offline
26
#2

robots.txt - это не гарант что страница не будет проиндексирована.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий