Не к АПу ли какому-нибудь крутому?
Достаточно ли для этого будет следующей записи:
User-agent: *
Allow: /
Disallow: /index.html
У меня получаются нормальные сайты тупо на HTML.
Хостер SpaceWeb?
Оказалось вот в чем дело: После 20 января Яндекс что-то у себя сменил, из-за этого теперь у некоторых хостеров автоматически выдает 403 ошибку при обращении робота к серверу. Многие хостеры уже над этим работают. Чем больше у хостера серверов, тем дольше будет исправляться эта ошибка. У спейсвэба, например, восстановительные работы займут 2 недели. Я попросил перенести свой сайт на другой сервер, где эта ошибка уже исправлена. Сказали, что уже перенесли. Будет ап - посмотрим.
Нет формы авторизации.
У меня тоже самое. Проанализировав, оказалось, что 21 число робот заходил на мой сайт, который был недоступен. Сомневаюсь я в недоступности сайта в это время, по мне так он работал. Какая у вас даты посещения роботом вылетевших по 403 ошибке страниц?
На самом деле, если все владельцы сайтов и их оптимизиторы сделают это да еще и одновременно, то репа у ребят из яндекса зачешется :)
Давайте все вместе внизу каждого своего сайта писать, что РЕКОМЕНДУЕМАЯ ПОИСКОВАЯ СИСТЕМА - GOOGLE.
