Главное, чтобы не pooman, хотя, походу, дело к тому идёт :o
Потому, что я её использую.
Стоит 6 запросов в секунду.
Спасибо кэп :D
Кстати, если лонг тайм 10 секунд при селекте в продакшене - это вообще мёртвый сервер.
Если б меньше секунды можно было ставить - я 0.5 бы ставил.
Ну, в общем, так и есть. Суммарная посещалка сайтов на этом сервере где-то под 200к в сутки. Т.е. где-то в среднем 2 миллиона запросов страниц. Ещё столько же запросов страниц от спайдеров. При этом, средняя загрузка была около единички.
А тут гугл как с цепи сорвался и на одном только сайте такие фортеля выкидывает. Так ладно б он это в течение дня делал и просто немного увеличивал бы среднюю нагрузку. А он только к вечеру начинает какими-то волнами фигачить.---------- Добавлено 07.07.2014 в 15:14 ----------
Ну, кагбе на первой странице кусок логов приведён :o
Из него просто выпилены уришники.
Очевидно, что логи я смотрю, и ни юзерагент, ни всё остальное ничем не отличается от обычных.
Вы это по IP определили? Ну, что это не основной индексатор 🙄
Всё кэшируется. Уже половину из 256 гиг в кэше. И в данный момент нет проблем. ЛА 5-6 на 32 процах кагбе ниочём. Я просто боюсь, что ещё 200 миллионов страниц в кэш точно не влезет.
Да и попадание в кэш в этом случае минимальное. Он же всё время разные страницы поедает.
Ещё как несут.
Не, он просто тупо жуёт страницы. Без всяких паразитных параметров.
На сайте много миллионов страниц и разгуляться там есть где.
Он игнорирует Crawl-delay.
О чём, кстати, пишет в вмт.
Он, родимый...
66.249.78.222 - - [06/Jul/2014:22:57:11 +0400] "GET ... 66.249.70.72 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.222 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.222 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.70.72 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.222 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.222 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.222 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.229 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ... 66.249.78.236 - - [06/Jul/2014:22:57:12 +0400] "GET ...
Кстати, уже 29 запросов в секунду :)
