Сейчас пришел ответ из Яндекса:
Очень определенный ☝ :D
Многоуважаемый Лёлик заметил ошибку в роботсе.
Было написано что-то типа:
Вместо:
K. Ermakov, не, с хостером все нормально. У меня там и другие сайты есть.
Googenot, статьи, в которых утверждают, что метатеги очень важны написаны были как правило давно.
Я кейворд и доскрипшн пишу :)
Лёлик, в личку отправил.
А как обстоит дело со стандартным:
Многие боты умеют обходить это?
От рекламщиков - только модеральщик :)
Mosik, а код подтверждения в данном случае - это мод или самопал?
Зингельшухер, спасибо за ссылку (и за подпись :) )!
С этим ясно, еще хочу спросить вот что:
У меня форум на поддомене forum.site.ru - можно роботс поместить в корень поддомена? Нормально, что для site.ru будет свой роботс, а для поддомена свой?
А какие еще вы предлагаете закрывать?
ИМХО: серверу вообще пофиг существует ли на самом деле URL1 или нет. Если стоит редирект, то к URL1 вообще никто обращаться не будет (независимо от того есть он или нет его).