Кэширование

Грузит сервер обращение к нему множества поисковых ботов, которые после внедрения КЭША атакуют сайт. Вот я и хочу узнать угомонятся или же будут дальше атаковать. И ещё момент. Не совсем понятно: Боты ПС лазят по кэшированной версии сайта или же обращаются к базе, подскажите плз..

Прогони сайт xenu, чтобы все вошло в кэш. Если потоков много, то нагрузка будет 100%, и таймаут нужно очень сильно поднять. Срок жизни кэша поставить нормальным, а то плагин может его быстро очищать, из-за чего смысл практически полностью теряется.

Когда нагрузка спадет (кэширование прекратится), прогони еще раз.

При первом обращении тормоза обязаны быть - отдает динамическую версию, плюс создает гзипнутую статику.

После этого плагин должен отдавать .gz, не распаковывая. Какой-то пхп код ему приходится исполнять, так что нагрузка на проц будет. У комбайна W3 она неслабая. У самых простых плагинов должна быть сильно меньше.

В любом случае при 10 потоках во 2-й раз нагрузка должна быть сильно ниже. При 100 может и тоже 100% быть.

Если кэш работает, то 1000 страниц бот должен достаточно быстро обойти, чтобы проблем не возникало. За секунды, если хостинг не совсем дохлый. Пусть себе резвятся. Почти все после первого прохода 100 лет не вернутся.

А зачем прогонят Xenu, если то же самое делают роботы?.. :)

Для проверки. Плагин-то может и не работать или работать хуже другого.

Докладываю! Спустя 2 суток ПС боты успокоились и даже меньше на пару % делают обращений к серверу. Скорость ответа сервера осталась такая же (0.35, а была до плагина 1.8 сек.). В общем, делаю вывод: всё работает очень даже успешно, оставляю Хайпер кэш, но под пристальным наблюдением.

Сегодня был АП Яндекса и в х=tool показало рост проиндексированных страниц почти в 2 раза, но в Яндекс Вебмастере в поиске адекватная статистика без такого роста. Связанно это с Кэшированием, но конкретно не разобрался. Может дубли проиндексировало?!

Яндекс вебмастер показывает исторические данные. Вообще в яше невозможно получить точное число страниц в индексе.

Т.е. и сервисам тогда доверять особо нет смысла, типо x-tool?

Сервисы показывают отсебятину.