Выросла нагрузка на CPU

FS
На сайте с 25.02.2008
Offline
111
1880

Добрый вечер.

Возникла такая неприятная ситуация. Хостер (Timeweb) прислал письмо

Мы обнаружили, что Ваш аккаунт *** оказывает чрезмерную нагрузку на сервер. Возможно, Ваш проект стал более посещаемым или в работе сайта что-то пошло не так. На сервере виртуального хостинга чрезмерная нагрузка, оказываемая одним аккаунтом, может негативно сказаться на работе всего сервера, поэтому эту проблему важно оперативно решить.

В панели хостера видно, как с начала мая нагрузка на CPU выросла до 120 cp в сутки. Было 20-40 cp. Нагрузка на MySQL тоже заметно выросла с 20-50 до 200.

Нагрузка на CPU в течение суток какая-то скачкообразная:

На аккаунте 1 сайт с посещаемостью чуть менее 2000 (движок textpattern + форум на punbb) и 6 совсем мелких, почти не посещаемых. Никаких работ, которые могли бы увеличить нагрузку, на сайте не проводилось, посещаемость тоже не росла.

По логам посещаемого сайта видно, что на него создавал нагрузку AhrefsBot и некоторые другие боты. Было много запросов вида:

217.182.132.188 - - [11/May/2017:06:32:58 +0300] "GET /forum/new-reply205quote5271.html HTTP/1.0" 200 5710 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"

Добавила в .htaccess

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*(Ahrefs|SolomonoBot|SearchBot|MJ12bot).* [NC]
RewriteRule .* - [F,L]

Сервер стал отдавать не 200 ответ, а 403:

51.255.65.80 - - [12/May/2017:00:27:22 +0300] "GET /forum/new-reply5quote26628.html HTTP/1.0" 403 219 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"

Еще смутило на странице Hosts в awstats множество ip-адресов с маской 95.163.*.*, которые грузят чуть ли не по 1000 страниц:

Total : 0 Known, 2,314 Unknown (unresolved ip) - 2,312 Unique visitors Pages Hits Bandwidth Last visit
95.163.*.* 990 990 20.94 MB 12 May 2017 - 00:15
95.163.*.* 974 974 20.90 MB 12 May 2017 - 00:15
95.163.*.* 971 971 20.64 MB 12 May 2017 - 00:15
95.163.*.* 970 970 20.45 MB 12 May 2017 - 00:15
95.163.*.* 969 969 20.36 MB 12 May 2017 - 00:15

И таких адресов около 50 штук. Все лазят по страницам форума. Запросы вида:

95.163.137.144 - - [11/May/2017:07:52:06 +0300] "GET /forum/post27277.html HTTP/1.0" 200 11678 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36"

У меня возник ряд вопросов, с которыми прошу помочь.

1. Почему нагрузка могла так неожиданно вырасти? Здесь пишут, что пользователи Timeweb время от времени сталкиваются с подобной ситуацией. Может, проще будет сменить хостинг?

2. AhrefsBot я правильно заблокировала? Он теперь нагрузку на сервер не будет создавать?

3. IP-адреса с маской 95.163.*.*- это граббер?

4. Что еще можно посмотреть, чтобы понять, почему нагрузка так увеличилась?

Спасибо заранее.

F
На сайте с 11.05.2017
Offline
6
#1

Сменить хостинг - будет лучшим решением в вашем случае.

Желательно на хостинг с хорошей поддержкой - которая решит эту проблему за Вас

S
На сайте с 13.10.2014
Offline
171
#2
FlaShka:
пользователи Timeweb время от времени сталкиваются с подобной ситуацией

Не время от времени, а постоянно. За что я оттуда и свалил

A9
На сайте с 04.01.2012
Offline
317
#3
95.163.137.144

вроде IP реального пользователя.

Просканируйте айболитом, возможно взломали Ваш проект и потому начала создаваться нагрузка - это как один из вариантов.

Еще попробуйте написать хостеру, он может предоставить Вам более детальную информацию.

https://hstq.net - аренда серверов от 9.99$! Нет KYC! Много стран размещения на выбор! Акция - удвоим оплаченный период! Заказывайте!
FS
На сайте с 25.02.2008
Offline
111
#4
adel92:
Еще попробуйте написать хостеру, он может предоставить Вам более детальную информацию.

Так в том и дело, что он пишет

Из соображений производительности использование средств для логирования скриптов и запросов на уровне сервера невозможно в рамках виртуального хостинга, поэтому, к сожалению, с нашей стороны дополнительная информация об источнике повышенной нагрузки недоступна.

Вообще, никакой информации не предоставляет 😒

Добавила в .htaccess

Order allow,deny
allow from all
deny from 95.163.64.0/18
deny from 95.163.128.0/18
deny from 95.163.192.0/20
deny from 95.163.208.0/21
deny from 95.163.216.0/22

Нагрузка сразу снизилась заметно (как раз в 8 часов, когда я .htaccess редактировала):

Только смущает, что вдруг этот диапазон реальным пользователям принадлежит 😒

2ip.ru пишет, что эти адреса принадлежит или DINET-HOSTING или DINET Customers. Посмотрела у них на сайте, они сервера предоставляют в аренду. Может, у кого-то там грабилка или спамер работает.

Просто как-то с трудом представляю, что 50 пользователей с одного провайдера одновременно решили просмотреть на моем сайте по 1000 страниц 😕

A9
На сайте с 04.01.2012
Offline
317
#5

Если IP принадлежат хостеру - то можете смело их блокировать и не переживать.

totamon
На сайте с 12.05.2007
Offline
437
#6
FlaShka:
Просто как-то с трудом представляю, что 50 пользователей с одного провайдера одновременно решили просмотреть на моем сайте по 1000 страниц

еще сложнее представить что они это делают по часам ровно с 3х часовым интервалом)

Домены и хостинг https://8fn.ru/regru | Дедик от 3000р https://8fn.ru/73 | VPS в Москве https://8fn.ru/72 | Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno | ХОСТИНГ №1 РОССИИ https://8fn.ru/beget
F
На сайте с 11.05.2017
Offline
6
#7

тоже было такое нашествие месяцев 6 назад, полокал подсети сразу все гуд стало!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий