Vin_cent: Ты или не понимаешь, что я говорю, или не хочешь понимать. О каком тарифном плане ты стал говорить? И что такое "программер по базам"?
Вывод у тебя такой: рассчитай максимальное кол-во посетителей которых может принять твой сайт, и напиши на главной странице, мол больше 1000 не приходить. И роботам про это расскажи. Вот это и будет потолок твоего сайта. И если тебя это устраивает, вопросов нет :)
Судя по тому, что пишет ТС, он не похож на новичка, поэтому предполагаю, что сайт у него оптимизирован. Если бот создает нагрузку, скажем в 10 раз большую, чем обычная нагрузка от посетителей сайтов, то надо с ботом разбираться, а не кидаться оптимизировать сайт под 10-кратное увеличение нагрузки. Провести инспекцию сайта всегда полезно, но ускорить его работу не всегда возможно. А вы почему то сразу делаете вывод, что подумать головой и переписать сайт - это обязательно решит проблемы, не задавая вопросов, что это за сайт, какие запросы он выполняет. Если сайт написан хорошо, то чтобы выдержать 10-100 кратное увеличение запросов от ботов, надо купить новый тарифный план или более мощный сервер. А это не всегда целесообразно. Зачем мой сайт должен держать 1млн посетителей, если на него стандартно заходит 10 тыс. Когда количество живых посетителей достигнет 100тыс, только тогда я сменю железо, а не сразу буду покупать железо или ставить CMS, которая бы держала 1 млн.
Vin_cent: А головой подумать и, например, код сайта переписать? Если гугл-бот напрягает ваш сайт/сервер, то 99% ваш сайт/сервер фуфло в техническом плане.
Если касается меня, то у меня все сайты самописки, я сам программер по базам данных.
Но при такой нагрузке от гугла бота (1,7 млн запросов в сутки), я бы тарифный план не стал менять, а стал бы с ботом разбираться. Любой сервер можно положить. Те же сотовые Операторы испытывают огромный перегруз в Новогоднюю ночь, но ни кто из них не удесятеряет свои мощности.
Vin_cent: Эти все "crawl rate" не решают проблемы. Если робот напрягает сайт, то сайт не готов принять много посетителей. Тогда надо остановиться и подумать, для кого сайт, где у него потолок и т.п.
1,7 миллиона запроса в сутки (читай посетителей)... много ли таких сайтов? Если из-за гугла бота мегамощные сервера ставить...увольте, не соглашусь с вами. Экономически не целесообразно.
"Сбои в автоматизированной системе Сбербанка будут продолжаться, заявил на пресс-конференции банка в Туле президент — председатель правления Герман Греф. Он подчеркнул, что подобная ситуация возможна в любой крупной организации."
Ну нормально че, видимо теперь ТИЦ будет только для сайтов из ЯК. А остальным он не нужен )))).
Ждем официальный прайсик на ТИЦ от Я.
http://yaca.yandex.ru/yca/cy/ch/www.site.ru/
Не по гифчику, а по тексту. И в день апдейта и вчера еще 550 было. Ну фиг знает, может и кэш.
Коррекция сегодня что-ли?
550 -> 600
Сайт долго с adsense не проживет.
Спасибо кэп :D
Кстати, если лонг тайм 10 секунд при селекте в продакшене - это вообще мёртвый сервер.
Если б меньше секунды можно было ставить - я 0.5 бы ставил.
Да, веб - это не промышленные системы. Там бывает инцидент поднимают, только когда запрос больше 20 мин работает ;-)
Ты или не понимаешь, что я говорю, или не хочешь понимать. О каком тарифном плане ты стал говорить? И что такое "программер по базам"?
Вывод у тебя такой: рассчитай максимальное кол-во посетителей которых может принять твой сайт, и напиши на главной странице, мол больше 1000 не приходить. И роботам про это расскажи. Вот это и будет потолок твоего сайта. И если тебя это устраивает, вопросов нет :)
Судя по тому, что пишет ТС, он не похож на новичка, поэтому предполагаю, что сайт у него оптимизирован. Если бот создает нагрузку, скажем в 10 раз большую, чем обычная нагрузка от посетителей сайтов, то надо с ботом разбираться, а не кидаться оптимизировать сайт под 10-кратное увеличение нагрузки. Провести инспекцию сайта всегда полезно, но ускорить его работу не всегда возможно. А вы почему то сразу делаете вывод, что подумать головой и переписать сайт - это обязательно решит проблемы, не задавая вопросов, что это за сайт, какие запросы он выполняет. Если сайт написан хорошо, то чтобы выдержать 10-100 кратное увеличение запросов от ботов, надо купить новый тарифный план или более мощный сервер. А это не всегда целесообразно. Зачем мой сайт должен держать 1млн посетителей, если на него стандартно заходит 10 тыс. Когда количество живых посетителей достигнет 100тыс, только тогда я сменю железо, а не сразу буду покупать железо или ставить CMS, которая бы держала 1 млн.
Сорри, если изъясняюсь не совсем понятно )
А головой подумать и, например, код сайта переписать? Если гугл-бот напрягает ваш сайт/сервер, то 99% ваш сайт/сервер фуфло в техническом плане.
Если касается меня, то у меня все сайты самописки, я сам программер по базам данных.
Но при такой нагрузке от гугла бота (1,7 млн запросов в сутки), я бы тарифный план не стал менять, а стал бы с ботом разбираться. Любой сервер можно положить. Те же сотовые Операторы испытывают огромный перегруз в Новогоднюю ночь, но ни кто из них не удесятеряет свои мощности.
Деньги надо считать!
Эти все "crawl rate" не решают проблемы. Если робот напрягает сайт, то сайт не готов принять много посетителей. Тогда надо остановиться и подумать, для кого сайт, где у него потолок и т.п.
1,7 миллиона запроса в сутки (читай посетителей)... много ли таких сайтов? Если из-за гугла бота мегамощные сервера ставить...увольте, не соглашусь с вами. Экономически не целесообразно.
Он игнорирует Crawl-delay.
О чём, кстати, пишет в вмт.
Если ВМТ явно crawl rate указать? Я 2 в сек обычно ставлю.
Однозначно был сбой.
"Сбои в автоматизированной системе Сбербанка будут продолжаться, заявил на пресс-конференции банка в Туле президент — председатель правления Герман Греф. Он подчеркнул, что подобная ситуация возможна в любой крупной организации."