Ну, в общем, так и есть. Суммарная посещалка сайтов на этом сервере где-то под 200к в сутки. Т.е. где-то в среднем 2 миллиона запросов страниц. Ещё столько же запросов страниц от спайдеров. При этом, средняя загрузка была около единички.
А тут гугл как с цепи сорвался и на одном только сайте такие фортеля выкидывает. Так ладно б он это в течение дня делал и просто немного увеличивал бы среднюю нагрузку. А он только к вечеру начинает какими-то волнами фигачить.
---------- Добавлено 07.07.2014 в 15:14 ----------
foxi: а заглянуть в логи своего сайта и поискать там эти ip ? гугл же не нищеброд с одним сервером 😂
и там еще юзерагент у этой фигни другой, не такой как у основного бота.
Ну, кагбе на первой странице кусок логов приведён :o
Из него просто выпилены уришники.
Очевидно, что логи я смотрю, и ни юзерагент, ни всё остальное ничем не отличается от обычных.
Всё кэшируется. Уже половину из 256 гиг в кэше. И в данный момент нет проблем. ЛА 5-6 на 32 процах кагбе ниочём. Я просто боюсь, что ещё 200 миллионов страниц в кэш точно не влезет.
Да и попадание в кэш в этом случае минимальное. Он же всё время разные страницы поедает.
уж лучше PACman
Главное, чтобы не pooman, хотя, походу, дело к тому идёт :o
А почему Вы не используете вот эту настройку в WMT?
Потому, что я её использую.
Стоит 6 запросов в секунду.
Спасибо кэп :D
Кстати, если лонг тайм 10 секунд при селекте в продакшене - это вообще мёртвый сервер.
Если б меньше секунды можно было ставить - я 0.5 бы ставил.
Ну, в общем, так и есть. Суммарная посещалка сайтов на этом сервере где-то под 200к в сутки. Т.е. где-то в среднем 2 миллиона запросов страниц. Ещё столько же запросов страниц от спайдеров. При этом, средняя загрузка была около единички.
А тут гугл как с цепи сорвался и на одном только сайте такие фортеля выкидывает. Так ладно б он это в течение дня делал и просто немного увеличивал бы среднюю нагрузку. А он только к вечеру начинает какими-то волнами фигачить.
---------- Добавлено 07.07.2014 в 15:14 ----------
а заглянуть в логи своего сайта и поискать там эти ip ? гугл же не нищеброд с одним сервером 😂
и там еще юзерагент у этой фигни другой, не такой как у основного бота.
Ну, кагбе на первой странице кусок логов приведён :o
Из него просто выпилены уришники.
Очевидно, что логи я смотрю, и ни юзерагент, ни всё остальное ничем не отличается от обычных.
забанить эти ip в фаерволе. там же не основной индексатор, или какой либо другой важный бот.
Вы это по IP определили? Ну, что это не основной индексатор 🙄
Тогда кэширование ставить.
Всё кэшируется. Уже половину из 256 гиг в кэше. И в данный момент нет проблем. ЛА 5-6 на 32 процах кагбе ниочём. Я просто боюсь, что ещё 200 миллионов страниц в кэш точно не влезет.
Да и попадание в кэш в этом случае минимальное. Он же всё время разные страницы поедает.
Ещё как несут.
Не, он просто тупо жуёт страницы. Без всяких паразитных параметров.
На сайте много миллионов страниц и разгуляться там есть где.
Гугл не распрознает ограничение на кол-во запросов в секунду в роботсе?
Он игнорирует Crawl-delay.
О чём, кстати, пишет в вмт.
Он, родимый...
Кстати, уже 29 запросов в секунду :)