Яндекс и robots.txt

D
На сайте с 21.07.2009
Offline
27
1058

Добрый день!

Робот Яндекса при обходе постоянно ругается на страницы вида

*html?format=feed&type=atom

*html?format=feed

*html?format=feed&type=rss

Причем на часть страниц он выдает ошибку 500, а на часть - "формат не поддерживается"

Хочу закрыть эти страницы от индексации, если добавлю в robots.txt следующую директиву:

Disallow: /*type=rss*

Disallow: /*type=atom*

Disallow: /*format=feed*

(или может просто оставить

Disallow: /*format=feed* ?)

Исключит Яндекс страницы такого типа и не захватит ли лишнего?

ewg777
На сайте с 04.06.2007
Offline
225
#1

Если всё уже описано, то зачем переспрашивать? http://help.yandex.ru/webmaster/?id=996567

S
На сайте с 28.10.2005
Offline
319
#2

Disallow: /*format=feed

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий