Не приходит Yandex/1.03.003 (compatible; Win16; D)

Подскажите, что же это такое все-таки может быть.

Добавлю, что сайты самые разные, не сетка. Вылетевшие из индекса страницы в аддурилку добавляются, но робот I ни в какую не идет. Сайты постепенно вылетают из индекса. Несколько самых маленьких вылетело полностью. Большие где-то наполовину.

Дятел должен стукнуться сразу же - проверить robots.txt и код http-статуса морды сайта. Яндекс должен проверить доступность сервера.

Попробуйте сделать, сайт недоступным (например в .htaccess Deny All) и сунуть в адурелку - что ответит. Может адурелка сломалась? Было такое года три назад: что в неё ни сунь - на все отвечала О'К.

PS:Можно проверить доступность сайта для Яндекса, загрузив в него robots.txt

PS: Только что проверила на новом домене - робот после адурелки приходит моментально.

Эксперименты показали, что D-бот приходит только на первые N-штук добавленных url, на последующие не приходит вообще, либо заглядывает бот без юзер-агента. Видимо существует ограничение на количество единовременного добавления с одного IP.

Bitman, немного странно от Вас вообще слышать про приход робота через адурелку...

OPTIMER, что после "..."? Чем должна была окончиться фраза?

Сфера моих интересов (веб-интересов) достаточно широкая.

У меня скорее обратная проблема - не уходит Yandex/1.01.001 (compatible; Win16; I).

Форум на phpbb3 пока небольшой - около 100 тем, 400+ сообщений. Бот уже сутки ползает по разным страницам, не уходит. Раньше заходил на несколько минут, не больше. С чем может быть связанно?

Antoh, а ты уверен что это проблема?

а что здесь странного? Понятно, что I таким образом не приходит, а вот дятел должен же стукнутся?

Не уверен. Просто не понимаю, что он может индексировать целые сутки, при том каждую тему по несколько раз.