робот-"простукивалка"

Revan:
По идее вы можете юзер агента выставить по желанию, это редактируемое поле..

Rimlyanin:
ну и как? иил теперь не знаете чем логи посмотреть???

The WishMaster:
Наверное, все же проблемы не в юзер-агенте, а в доступе с яндексового айпишника... хотя кто его знает

Можно, кстати, у саппорта хостинга спросить.

zagul:
незнаю:) распоковал раром потом открыл notepad ом и все комп завис там 68 mega было.
Как посмотреть?

zagul:
юзер-агент с чем его едят? или что у них спросить...

human:
http://www.yandex.ru/yandsearch?rpt=rad&text=%EB%EE%E3+%E0%ED%E0%EB%E8%E7%E0%F2%EE%F0
Может, кстати, и тех.поддержка хостинга выдать нужные строки.


Попробуйте попросить строки из логов (access и error) за последнюю неделю, где встречается "Yandex/2.01.000 (compatible; Win16; Dyatel; C)". Потом - выложите их сюда. Спросите ещё:
"Почему при отправке серверу кода:
telnet www.домен.com 80
HEAD / HTTP/1.0
Host: www.домен.com
Accept-Charset: windows-1251
User-Agent: Yandex/2.01.000 (compatible; Win16; Dyatel; C)
Выдаётся отклик отличный от 200 (ОК)?"

А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?


У Яндекса есть несколько роботов, которые представляются по-разному.

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот

Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок

Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов

Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»

YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.

Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.

Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Rimlyanin:
Ответ дан на странице -- http://webmaster.yandex.ru/faq.xml?id=502499#user-agent