подскажите верно ли я написал robots.txt

kopusha
На сайте с 04.11.2008
Offline
175
360

Есть сайт с крымскими новостями, около 3 недель назад исключил с помощью robots.txt раздел /articles/, а 2 недели назад исключил ещё ряд разделов.

Это сделано из-за особенностей движка, создающего доступные страницы с одинаковым содержанием по нескольким адресам.

Время идёт (было 3 апа), и в выдачу попадают как новые страницы по верным, желаемым мною урлам, но и старые, запрещенные в роботсе, не исчезают. Как итог - на сайте с 6К стр в выдаче 9К, может кто взглянет на роботс да подскажет, вдруг что не так.

Заранее спасибо за советы.

[umka]
На сайте с 25.05.2008
Offline
456
#1

http://webmaster.yandex.ru/robots.xml

Вроде всё красиво показывает :)

Просто яндекс не сразу страницы выкидывает из индекса.

Лог в помощь!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий