4NT1P0V: Прекращайте просто хоститься на бесплатных хостингах... Нормальному хостеру бот гугла непочем..
Угу, с чего взяли, что на бесплатном? Уважаемый хостер.
P.S. Решил пожалеть бота и отбанил. Сайт свалился. Пришлось снова в бан. За 4 года такая ситуация в первый раз. Что делать... Есть подозрения, что связано с последним прогонам поддомена по забугорским закладкам. Что, если бот Google из-за этого бушует?
The WishMaster: Если боты грузят сервер, значит, он криво настроен. Ну, или скрипты кривые.
Я тоже так считаю, поэтому ищу все ходы-выходы. Кэширование, nginx уже пробовал. Но надо статистику набирать по неделям, тогда видно будет, что эффективней.
P.S. Внимание: особо опасен Twiceler-0.9. Проверено.
The WishMaster: Сервер менять надо. Или скрипты оптимизировать.
О! Опять эта фраза! И хостер так сказал - оптимизируйте скрипты. А что конкретно имеется в виду? Замерил время выполнения скриптов - не больше 0.12 с. Объем памяти, занимаемого скриптом 256К.
Заказывал прогон. Получил отчет. Все в норме. Спасибо за работу.
ip какой у вашего гугл бота? юзер-агент в любом парсере замаскировать можно
xxx.6
xxx.8
Но все же nginx победил. Все боты (и даже Google) выпущены на свободу, а сайт не просто летает - порхает.
P.S. И все виноваты программисты (так считаю), писать код надо заранее зная, что будут такие ситуации с запросами ботов и прочих.
Источник трафика смотрели? неужели li начал учитывать боты?
Повторно поставил nginx и выпустил на свободу бот Google. Посмотрим, кто - кого.
Прекращайте просто хоститься на бесплатных хостингах... Нормальному хостеру бот гугла непочем..
Угу, с чего взяли, что на бесплатном? Уважаемый хостер.
P.S. Решил пожалеть бота и отбанил. Сайт свалился. Пришлось снова в бан. За 4 года такая ситуация в первый раз. Что делать... Есть подозрения, что связано с последним прогонам поддомена по забугорским закладкам. Что, если бот Google из-за этого бушует?
Если боты грузят сервер, значит, он криво настроен. Ну, или скрипты кривые.
Я тоже так считаю, поэтому ищу все ходы-выходы. Кэширование, nginx уже пробовал. Но надо статистику набирать по неделям, тогда видно будет, что эффективней.
P.S. Внимание: особо опасен Twiceler-0.9. Проверено.
Всем спасибо. Но все это я уже делал. Пришлось забанить. Сайт не узнать - летает.
P.S. По логам посмотрел - запросы Google увеличились примерно на 20%.
Сервер менять надо. Или скрипты оптимизировать.
О! Опять эта фраза! И хостер так сказал - оптимизируйте скрипты. А что конкретно имеется в виду? Замерил время выполнения скриптов - не больше 0.12 с. Объем памяти, занимаемого скриптом 256К.
http://help.yandex.ru/webmaster/?id=996567#1022359
Не помогает. Там смешные задержки указаны - 2,5. Ставлю 1500 - все равно нагрузка. Когда баню - сайт летает и отдыхает.
У меня такая же проблема с Google. Если надо просто поумерить его пыл? Не прогонять, а намекнуть, мол, пореже, дружок, пореже...