Да жив здоров зеркальщик, ходит себе потихоньку, спокойно обнаружился в логе за 15.06
Да не дорогой, в принципе, только надо иметь зарегистрированную торговую марку, причем созвучную с регистрируемым именем. Подробнее здесь. А вот правила (PDF).
Абсолютно верно! Отсутствие файла robots.txt равносильно разрешению индексировать на сайте все, что угодно.
Владимир-С, проверяйте, что с Вашим файлом не так, может первая буква большая или все название файла в верхнем регистре?
Как раз у Яндекса главное позже можно переопределить с помощь Host:, здесь тоже так можно? Тогда говорите, как робота величать, я ему пропишу, какое зеркало главное.
Выкатили новую версию Бигмировского поиска, так вернее будет.
Каким образом определяются зеркала, главное и прочие?
На robots.txt внимания не обращаете? Очень зря! 🙅
Правду говорят, это действительно картиночный робот Yahoo, можно запретить ему индексировать сайт.
Рамблер действительно пытается сабмитить формы, это уже давно за ним замечалось, года 4 назад точно тема была.
Ничего в этом страшного нет, кто-то даже шутил, что самый лучший пользователь интернет-магазина -- робот Рамблера, периодически делает крупные заказы, но еще ни разу ничего не оплатил. :)
Попробуйте посмотреть файлик .htaccess, он может не показываться, поскольку считается системным.
В нем прописываются локальные параметры конфигурации и может быть указан DirectoryIndex отличный от index.html и т.п.
Для Яндекса лучше всего использовать специально выдуманную Яндексом же директиву Host в robots.txt, информацие есть в разделе помощи.
Для Гугля идеальный вариант -- подокументный редирект с кодом 301, методов его сделать несколько и неоднократно на форуме приводились: htaccess, mod_rewrite, apache aliases, etc.
Можно писать, можно не писать, важно, чтобы адрес от корня начинался.
