И поскольку домен третьего уровня не директория то остается "сайт (хост)"
На http://www.yandex.ru/info/ci.html сказано
Вот полный текст письма яндекса в ответ на вопрос почему перестали вычислять индекс цитирования.
Может кто-нибудь все же посоветует что делать? Ведь проект фактически уничтожен этим действием яндекса.
Страницы или домены? Ссылаются конечно, но разве это может сказываться на индексе?
Как я понял этот фильтр навредит не мне а тем на кого я ссылаюсь?
А если его поставили на всех кто ссылается на меня то пострадал бы и домен www а не только поддомены.
А что это и как узнать?
Обнулили индексы (но не запретили индексирование) у всех доменов третьего уровня, а у www все нормально.
большую часть роботов нашел, но не нашел каким роботом пользуется go.mail.ru
Как же я скажу какие если они представляются как обычный IE?
(просто по поведению видно, что это не человек)
Осталось найти список как они представляются в User-agent и как их писать по поле User-agent в robots.txt. Для меня эта задача оказалась сложной, может кто даст ссылку?
(нет на сайте примерно в 100 раз меньше страниц)
Движок сайта требует авторизациию
Тем кто нехочет(неможет) регистрироваться/авторизоваться присваиваются временные логин и пароль.
Логин пароль передаются через GET поэтому присутствуют ссылке Яндекса
(если кто-то зайдет по такой ссылке то получит другой логин и будет с ним пока не авторизуется или не уйдет) Яндекс при одном сканировании пользуется одним логином. Google, msn получают по одному логину на каждую нить, но все равно нить не получает новый логин и должна закончиться просмотрев сайт один раз.
Мне не понятно, как выдавать всем роботам один конкретный логин если многие роботы не отличимы от броузеров?
