Индексирование сайта роботом Яндекса с ошибками

M
На сайте с 01.11.2011
Offline
42
576

Уже около месяца периодически наблюдаются ошибки подключения к сайту в Яндекс.Вебмастере (в среднем по одной за сессию робота). За прошедшее время я вплотную занялся этим вопросом, т.к. данный фактор считаю весьма важным и критическим. Сайт находится на выделенном сервере, все нужные порты открыты и проверены. У хостера тоже провели необходимые проверки и они тоже ничего не выявили. Сайт доступен для пользователей и находится на выделенном сервере. С него выполнялись команды traceroute до выявленных по логу ботов (например, 37.140.188.73). Проблем с доступом не обнаружили. Мощностей сервера предостаточно и он почти не нагружен.

В Яндекс поддержку писал и получил ответ:

"В настоящий момент Ваш сайт доступен для робота и каких-либо проблем при обращении к его страницам не возникает, он индексируется в нормальном режиме. Вероятно, появление данных ошибок ранее связано с кратковременной блокировкой нашего робота Вашим хостером или промежуточным провайдером (робот не мог установить соединение с сервером, и не получал никакого ответа в течение 30 секунд). Я советую Вам проверить настройки фаервола на предмет возможных блокировок нашего робота 7 и 8 сентября, а также добавить робота с IP-адресом 37.140.188.73 в белый лист."

Собственно и до этого данный IP был в белом листе iptables.

Посмотрели Вебмастер еще у нескольких средних сайтов и там тоже есть подобные ошибки подключений. Как быть?

M
На сайте с 01.11.2011
Offline
42
#1
Вафелька:
Другие сайты на этом же ip тоже имет проблему с доступностью или нет? Надо включать серверный мониторинг.

На этом IP всего один сайт. На сервере есть еще сайты, но с другими IP и ошибок нет, но они менее объемны и бот Яндекса реже к ним обращается. Хочу установить munin на сервер. Отследить нагрузку.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий