Ждем официальный прайсик на ТИЦ от Я.
http://yaca.yandex.ru/yca/cy/ch/www.site.ru/
Не по гифчику, а по тексту. И в день апдейта и вчера еще 550 было. Ну фиг знает, может и кэш.
Коррекция сегодня что-ли?
550 -> 600
Сайт долго с adsense не проживет.
Да, веб - это не промышленные системы. Там бывает инцидент поднимают, только когда запрос больше 20 мин работает ;-)
Судя по тому, что пишет ТС, он не похож на новичка, поэтому предполагаю, что сайт у него оптимизирован. Если бот создает нагрузку, скажем в 10 раз большую, чем обычная нагрузка от посетителей сайтов, то надо с ботом разбираться, а не кидаться оптимизировать сайт под 10-кратное увеличение нагрузки. Провести инспекцию сайта всегда полезно, но ускорить его работу не всегда возможно. А вы почему то сразу делаете вывод, что подумать головой и переписать сайт - это обязательно решит проблемы, не задавая вопросов, что это за сайт, какие запросы он выполняет. Если сайт написан хорошо, то чтобы выдержать 10-100 кратное увеличение запросов от ботов, надо купить новый тарифный план или более мощный сервер. А это не всегда целесообразно. Зачем мой сайт должен держать 1млн посетителей, если на него стандартно заходит 10 тыс. Когда количество живых посетителей достигнет 100тыс, только тогда я сменю железо, а не сразу буду покупать железо или ставить CMS, которая бы держала 1 млн.
Сорри, если изъясняюсь не совсем понятно )
Если касается меня, то у меня все сайты самописки, я сам программер по базам данных.
Но при такой нагрузке от гугла бота (1,7 млн запросов в сутки), я бы тарифный план не стал менять, а стал бы с ботом разбираться. Любой сервер можно положить. Те же сотовые Операторы испытывают огромный перегруз в Новогоднюю ночь, но ни кто из них не удесятеряет свои мощности.
Деньги надо считать!
1,7 миллиона запроса в сутки (читай посетителей)... много ли таких сайтов? Если из-за гугла бота мегамощные сервера ставить...увольте, не соглашусь с вами. Экономически не целесообразно.
Если ВМТ явно crawl rate указать? Я 2 в сек обычно ставлю.
"Сбои в автоматизированной системе Сбербанка будут продолжаться, заявил на пресс-конференции банка в Туле президент — председатель правления Герман Греф. Он подчеркнул, что подобная ситуация возможна в любой крупной организации."
