Индексируется запрещенное в robots.txt

Видимо я не один с этим столкнулся! Интересно, почему Яндекс начал 'класть' на robots?

У тебя ссылка без слеша, а в правиле со слешем на конце. Так?

Не правильно написано правило, поэтому и индексирует.

Напиши так

Disallow: /*feed*

или так

Disallow: /*feed

В общем-то да. Вы считаете, что нужно в правиле добавить слеш?

Но до сегодня было же все нормально?!

И, кстати есть в роботе другие правила, например Disallow: /wp-admin (без слеша), но НЕ индексируются страницы, которые такого вида сайт/wp-admin/страница (со слешем)

Цитируя Яндекс:

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'

Он там есть. А в ссылке его нет.

Это правило не запрещает индексировать данную ссылку.

Действительно, полазил по другим сайтам, проанализировал роботсы - так и есть: мою страницу с фидом яндекс вебмастер кушает, там где без слеша - пишет: запрещено в роботс. тхт.

Спасибо, что ткнул носом!

Посмотрел, один из своих проектов. В индексе много страниц http://URL поста/feed/

в роботс прописано Disallow: /feed/

Раньше все норм было.

Эх глюченный Яндекс стал

Это не Яндекс глючный, а ты бестолковый.

Хоть бы почитал что про robots.

Твоя директива не запрещает эти адреса.

Во-первых, без оскорблений!

во-вторых,

чтож у меня неправильно, если до последнего апа все это прекрасно работало.

И чтож у меня не правильно если в хелпе яндекса написано

Disallow: /cgi-bin # блокирует доступ к страницам

#начинающимся с '/cgi-bin'

и чем отличается от feed ?