Пауки Яндекса грузят хостинг

Disell, писали о ботах с названием фронт, не суть важно кто он (кажется это быстроробот ходит с него). Похоже у хостера твоего попа какаято. Или пробмы с сесиями или просто контент отдается слишком медленно. Обчно он не сильно насилует сервак, если все нормально отдается.

Это не имя бота))))

Это хост айпишника(как по умному называется не знаю).

Хостер - дурак раз выключил :)

То что сильно грузиться - можно забанить, апорта, гугля, раму, юзеров, но никак не яндекс бота :)

Была похожая ситуация в августе-сентябре - не помню точный ip, хотя вроде заканчивался тоже на тройку. У меня это был картиночный бот - так что гляньте логи, посмотрите, что он качает. Съел около 250 гигабайт за месяц, хостер был рад выставить счет в полтора раза больше, чем обычно :)

Виноват, конечно, был я сам - потому как писать скрипты надо аккуратнее :)

Менять хостера надо. А что за хостер, кстати?

Да не бота забанили а саит отключили. Вот что прислал хостер.

В дальнейшем просим Вас не нарушать правила предоставления услуг хостинга и не

привышать лимиты на использование системных ресурсов сервера.

Исходя из лог файлов сервера большая часть запросов к аккаунту осуществлялась

с данных IP адресов

1 место - 66.249.65.12 - crawl-66-249-65-12.googlebot.com

2 место - 213.180.206.3 - sfront42.yandex.ru

Вот такие дела.

Это упрощает дело. Вы - тот единственный на хостинге, кого любят и понимают сразу две крупнейшие поисковые системы. Чтобы не испортить своему сайту светлое будущее - избавьтесь от хостера-"параноика", и переходите к вменяемым, например на rbc.

Поскольку после хорошей индексации может последовать и большой траффик, и вас тогда обязательно отключат из-за излишнего количества посетителей.

Возможен так же вариант кривых скриптов, которые при обращени бота сильно грузят базу данных

Недавно была похожая ситуация на хостинге 1GB, только они не отключили а вежливо просили принять меры, у них на каждый тарифный план отводится определенный % процессорной загрузки которую они мониторят и в панели управления можно детализировать с какого IP и какой скрипт сколько нагрзки создавал (почасовые отчеты).

Причем гугловый бот ходил более равномерно и брал небольшими порциями т.е с ним особых проблем небыло. Основную нагрузку давал яндексовый (тоже с хоста sfrontXX какого-то) при индексации динамического каталога, но в прочем, вел себя вполне адекватно - держал интервал в 5-7 секунд между запросами.

Так что, чтобы вызвать перегруз 10% нагрузки (что часто декларируют виртуальные хостинги) от робота яндекса - надо чтобы индексируемые страницы, в среднем для своей генерации занимали больше секунды процессорного времени.

Не тут с десяток запросов в секунду как минимум идет. А лимит 5% памяти.

В принципе наверное можно в страницу вставку-скрипт сделать который при определении бота будет задерживать выдачу (какимнибудь sleep()) страницы на 2-3 сек.