Почему Yandex игнорирует robots.txt?

Miha, а что означает "проверять через strstr"?

я пока не очень большой спец в программинге...

При чем здесь конкретный файл?

http://www.robotstxt.org/wc/norobots.html

wolf, описание robots.txt, каким он должен быть, и как его проверяет Яндекс - разные вещи.

Ок, в таком случае, покажите мне, где написано то, "как его проверяет Яндекс". :)

А если серьезно, то любой вежливый робот (а, надеюсь, хотя бы своего индексирующего робота "I" яндексоиды считают таки роботом, причем, вежливым :)) обязан соблюдать протокол файла robots.txt

К сожалению не обязан :(

Из того же документа:

Т.е. данный стандарт фактически является рекомендациями. Вот вежливый робот должен этот стандарт соблюдать, а вебмастер вправе отправить робота, игнорирующего стандарт, подальше...

Я же про вежливых роботов и говорил. Или для Вас слова "обязан" и "должен" - разные по смыслу?

Нет, не разные.

А где сотрудники Яндекса утверждали, что их робот вежливый?

Вот фразу "если вам не нравится, можете нашего робота на сайт не пускать" я где-то точно слышал или читал.

Они не утверждали и обратного (по крайней мере, про индексирующего робота). А те модификации, которые не соблюдали robots.txt ("D", "H") они величали не роботами, а агентами. :)

wolf,

Идём сюда:

Особо отмечаем строчку "Disallow: /report.php"

Затем сюда:

http://webmaster.yandex.ru/

И добавляем туда вот это:

Надеюсь, вопрос с вежливыми роботами на этом и исчерпается.

Нашел как раз ту тему, аккурат три года назад было 🚬

Этот вопрос уже жеван-пережеван, да и яндексоиды сейчас в дискуссии не ввязываются, как раньше.

Так что прошу меня извинить, если написал что-то не то, продолжать "наезжать" на Яндекс не хочется.

P.S. А D, кстати, robots.txt сейчас запрашивает, насчет соблюдает ли -- не проверял 🙄