Yandex не индексирует целый год!

wolf, действительно ответил намного дружелюбней, чем отвечает обычно

Верю.;)

Случится Вам поплотней столкнуться с его "ненавязчивым" сервисом, Надеюсь, что не случится :(

Cherny, Надо добавить строку
Disallow:
с пустым значением или удалить вообще все из файла.

Спасибо. Все-таки непонятно, почему они раздавали его в таком виде и как же роботы ходили до сегодняшнего дня...

Спасибо всем за обсуждение.

Хм. Интересно.

Если я в robot.txt укажу перечень директорий, запрещенных для индексирования, то любой кулхацкер может его посмотреть и проявить к ним особенное внимание? :(

В robots.txt закрываются индексируемые файлы и директории, а значит их и так "кулхацкер" найти может.

Ну и что это ему даст? Если сервер нормально сконфигурен и настроен, то можно даже пароль к базе всем рассказать... :)

Скорее всего неудачно отредактированный пример.

Неправильные конструкции игнорируются.

Если на эти директории нет ссылок в свободном доступе, то робот о них знать не будет, указывать такие директории в robots.txt совсем не обязательно.

EvgRen, это еще как сказать. Он же должен узнать, что есть такая директория, скажем /abracadabra12345678/

Хотя с другой стороны, если на эту директорию нет прямых ссылок с главной страницы, то и робот ее не найдет, так что нет смысла упоминать.

С третьей стороны, если эта ссылка когда-то была, то Яндекс ее запомнил. Да и Яндекс-сайт шманает по содержимому сервера, а не по линкам.

Короче, есть повод для размышления.

Ага, есть. В том плане, что его тоже настраивать уметь надо 😂

А как тогда индексируются сайты с динамическим контентом, как этот форум, например?

wolf, опасная тенденция - узнавать стиль госпожи Ильинской :D...

Таки она не только бан-листом заведует. :) Если чего вдруг криво индексится, так мы завсегда к ней, матушке, с поклоном. :)