Рамблер индексирует то что запрещено в robots.txt!

Приведите в пример конкретную страницу, имеющуюся в базе и нарушающую роботс. Ползать по всем документам и проверять совпадения - удовольствия мало.

Оопс, извиняюсь, самого проглючило, забыл запятую поставить в юрлах

Ну раз так все быстро выяснилось и больше вопросов нет, а топи бесполезный, то просьба в модераторам: удалите этот топ, чтобы зря время на него не тратили!

Обратно извиняюсь! все таки рамблер не совсем правильно пашет, как мне кажется.

например юрл: http://www.mycv.ru/Home,$JobBlock.jobSearchForm.sdirect

запрещен для индексации согласно robots.txt

однако в списке проиндексированных документов есть под 4 номером:

http://search.rambler.ru/srch?words=Stale+Link&filter=http%3A%2F%2Fwww.mycv.ru&sort=0&old_q=&btnG=%CD%E0%E9%F2%E8%21

Вот такая петрушка...

Во-первых, Гугль тоже будет игнорировать данный robots.txt

Ибо нефиг пихать яндексовские директивы в секцию для всех ботов.

Во-вторых, на сколько я помню, RFC позволяет иметь в URI только латинские алфавитно-цифровые последовательности + несколько спецсимволов. Соответственно и запятая, и бакс должны кодироваться как %2С и %24. Так что нечего на Рамблер бочку катить :)

самое интересное то что рамблер не игнорирует всю секцию а игнорирует только параметр host

Почему тогда Яндекс понимает? насчет бакса и запятой мне все таки кажется что эти символы разрешены (иначе почему гугл и яндекс их не индексирует)

Мишган,

1. основные боты больших поисковиков соблюдают robots.txt, составленные в соответствии с правилами. Это аксиома, проверенная годами.

2. изменения в robots.txt не начинают действовать мгновенно. Пока не закончится обход очереди ссылок, полученной на предыдущем заходе с учётом правил предыдущей версии robots.txt, могут возникать коллизии.

Вопрос "а почему другие понимают" тут не уместен. Так парсер реализован. Гугль, например wildcards понимает. Это не значит, что все остальные боты обязаны их тоже понимать.