Гугл ддосер

забанить эти ip в фаерволе. там же не основной индексатор, или какой либо другой важный бот.

Вы это по IP определили? Ну, что это не основной индексатор 🙄

а заглянуть в логи своего сайта и поискать там эти ip ? гугл же не нищеброд с одним сервером 😂

и там еще юзерагент у этой фигни другой, не такой как у основного бота.

Аналогичная ситуация. Страниц у меня несколько миллионов. Последние две недели гугл-робот так же активно всё сканирует.

Надеюсь, на говно-сайты гугл свои ресурсы так активно тратить не будет. Жду амнистии для сайта (пол года под фильтром каким-то).

А что касается вашего сайта. Если у вас уже ресурсы сервера на пределе, то советую вам переписывать код, находить узкие места и уменьшать нагрузку, если конечно вам нужно много посетителей. У меня по-мимо с ума сшедшего гугла ещё и китайский baidu и bing скорость увеличили. A нагрузка всего ~0.7 (Intel Xeon CPU E3-1230 V2 @ 3.30GHz, 8 cores)

Если ВМТ явно crawl rate указать? Я 2 в сек обычно ставлю.

Эти все "crawl rate" не решают проблемы. Если робот напрягает сайт, то сайт не готов принять много посетителей. Тогда надо остановиться и подумать, для кого сайт, где у него потолок и т.п.

1,7 миллиона запроса в сутки (читай посетителей)... много ли таких сайтов? Если из-за гугла бота мегамощные сервера ставить...увольте, не соглашусь с вами. Экономически не целесообразно.

А головой подумать и, например, код сайта переписать? Если гугл-бот напрягает ваш сайт/сервер, то 99% ваш сайт/сервер фуфло в техническом плане.

Если касается меня, то у меня все сайты самописки, я сам программер по базам данных.

Но при такой нагрузке от гугла бота (1,7 млн запросов в сутки), я бы тарифный план не стал менять, а стал бы с ботом разбираться. Любой сервер можно положить. Те же сотовые Операторы испытывают огромный перегруз в Новогоднюю ночь, но ни кто из них не удесятеряет свои мощности.

Деньги надо считать!

Ты или не понимаешь, что я говорю, или не хочешь понимать. О каком тарифном плане ты стал говорить? И что такое "программер по базам"?

Вывод у тебя такой: рассчитай максимальное кол-во посетителей которых может принять твой сайт, и напиши на главной странице, мол больше 1000 не приходить. И роботам про это расскажи. Вот это и будет потолок твоего сайта. И если тебя это устраивает, вопросов нет :)