Robots.txt с регулярными выражениями.

12
kimberlit
На сайте с 13.03.2007
Offline
370
#11
temniy:
Вроде бы поддерживает с недавних пор, но повторяю еще раз - она не входит в стандарт, а это значит, что поведение поисковиков при встрече с ней непредсказуемо. Что, собственно, и описано ТСом в топике.

Да какая разница в стандарте? Яндекс и Google поддерживают ее. Или кого-то интересуют другие поисковики? А в стартпосте информации о проблеме с гулькин писюн. Может и нет проблемы, а есть кривые руки.

B
На сайте с 26.05.2013
Offline
47
#12

Уважаемые, не ссорьтесь!

Данный роботс, что я привёл, яндекс и гугл переваривают корректно, по крайне мере в панели вебмастера говорится, что все ок. Хотя на деле... в индекс попадает всякая ересь, в обход этого куска роботса. 🙅

Вопрос бал по сервису от http://www.xml-sitemaps.com/

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий