Олег, так и скажи "продюсеры Глюкозы общались со мной по аське - ура." 😆
Зачем модератору посещать не проиндексированные документы???
Если документа нет в индексе - он его и смотреть не будет. А нет потому что robots.txt такой или по иным причинам - какая разница? Поэтому и не смотрят.
robots.txt - он для робота. Вот если бы был moderators.txt - другое дело ;)
Пару лет назад мы на форуме проводили такой опрос. Если ваш сайт в топ10, то он получает в виде хостов 15-25% от числа запросов в месяц. Но тогда Директ показывал "чистое" число запросов ;)
Доказывает. Это есть "продолжение нарушений в открытой части" ;) Да еще и наеобманули тех вебмастеров, кто поставил на вас ссылки - закрыли ответные от индексации ;)
Я думаю что он знает эту информацию ДО прихода на сайт ;)
Яндекс индексирует открытую часть интернета. Следовательно, он не станет предпринимать какие-либо действия, ориентируясь на закрытую часть интернета. Но если закрытая часть является продолжением нарушений в открытой - то модератор это, без сомнения, учтет при наложении санкций.
Директива Host - изобретение Яндекса.
Так что robots.txt проблему не решит.
Необходим серверный редирект 301 с алиасов на главное зеркало.
Мишган, напиши IP :)
Мне кажется, что не переборщил.
Использование заголовков, в том числе и с указанием их разумных видимых парметров в CSS - не криминал.
Тогда смысл в этой звездочке?