Мог бы. И Google мог бы. Но не сделал почему-то - гляньте Page Rank у top100.rambler.ru.
Ладно, хватит теорий. У тебя есть логи с заходом модераторов с SB.yandex.ru.
Просмотренные модератором страницы были проиндексированы?
Олег, так и скажи "продюсеры Глюкозы общались со мной по аське - ура." 😆
Зачем модератору посещать не проиндексированные документы???
Если документа нет в индексе - он его и смотреть не будет. А нет потому что robots.txt такой или по иным причинам - какая разница? Поэтому и не смотрят.
robots.txt - он для робота. Вот если бы был moderators.txt - другое дело ;)
Пару лет назад мы на форуме проводили такой опрос. Если ваш сайт в топ10, то он получает в виде хостов 15-25% от числа запросов в месяц. Но тогда Директ показывал "чистое" число запросов ;)
Доказывает. Это есть "продолжение нарушений в открытой части" ;) Да еще и наеобманули тех вебмастеров, кто поставил на вас ссылки - закрыли ответные от индексации ;)
Я думаю что он знает эту информацию ДО прихода на сайт ;)
Яндекс индексирует открытую часть интернета. Следовательно, он не станет предпринимать какие-либо действия, ориентируясь на закрытую часть интернета. Но если закрытая часть является продолжением нарушений в открытой - то модератор это, без сомнения, учтет при наложении санкций.
Директива Host - изобретение Яндекса.
Так что robots.txt проблему не решит.
Необходим серверный редирект 301 с алиасов на главное зеркало.
Мишган, напиши IP :)
