Форум Сайтостроение Хостинг

Нагрузка на сервер

12 3
Р
На сайте с 29.06.2012
Offline
66
Рагожин
2028

Вчера хостер отключил сайт за "перегруз сервака".

Письмо:

Использование процессорных ресурсов сервера Вашим аккаунтом превышает нормы, допустимые на используемом Вами тарифном плане.

Статистика использования процессорного времени показывается в панели управления Вашего аккаунта (раздел "Данные о клиенте" / "Общая информация" / "Нагрузка на процессор,Подробная статистика"), за 100% принимается лимит, установленный для соответствующего тарифного плана.
Лимит на использование процессорных ресурсов сервера, в процентах от одного 3GHz процессора:
- 1.5% для тарифа "Один сайт"
- 3% для тарифа "Десять сайтов"
- 6% для тарифа "Профи"


Причиной увеличения нагрузки на процессор может быть:
- некорректно написанный код;
- увеличение числа посетителей сайта;
- работа поисковых ботов;
- работа скриптов, запускаемых через cron.
Какую-то информацию по этому поводу может дать анализ логов доступа сайтов.
Логи доступа за текущий день находятся в директории logs.
(Логи за предыдущие дни хранятся в директории logs.old)

Если у Вас нет возможности оптимизировать работу сайтов Вашего аккаунта, Вы можете перейти на тарифный план выше.

В случае, если подобное превышение лимитов происходит систематически и Заказчик не принимает мер по нормализации ситуации, после предупреждения ресурс может быть заблокирован.

Если превышение критическое для функционирования сервера и затрудняет работу других клиентов, сайты которых расположены на этом же сервере, то ресурс может быть заблокирован с последующим уведомлением в течение 1 рабочего дня.

Пожалуйста, постарайтесь в течение трех дней привести уровень нагрузки в норму. Иначе Ваш аккаунт может быть заблокирован, чтобы не мешать работе других пользователей сервера.

Двиг ВП, обычный женский сайт. Посещаемость и пузомерки сайта стремятся к нулю. С месяц назад заметил что кто-то десятками в день добавляет на сайт англоязычные статьи с линками на стронние ресурсы в теле (без моего ведома), поэтому я запретил гостям добавлять новости + ввел модерацию на публикацию материалов зарегаными юзерами.

Вчера сайт заблокировал хостер, в логах посмотрел: каждые 2-5 сек к разным страницам сайта обращаются с 5-7одинаковых ипов/юзерагентов/браузеров... Ддос??? Зачем?! :) Сайт нулевой и мягко говоря не конкурент никому.

Как быть?

A
На сайте с 03.08.2009
Offline
121
anat
#1

/ru/forum/805626 ?

-

Логи смотрели?

Mutabors
На сайте с 17.09.2012
Offline
127
Mutabors
#2

Если именно к разным страницам (а не к логину), тогда действительно странно...

Может хостер так хочет на другой тариф пересадить? :-)

Если не секрет киньте кусок логов, может что подробнее удастся сказать.

Самый продвинутый и надежный SSD хостинг рунета с изоляцией сайтов по 115 руб! (http://beget.ru/?id=332651) Контекстная реклама и продажи. Конкурентные и серые темы. Дорого! Не трать время на рутину! Ее сделают за копейки! (http://www.work-zilla.com?ref=143498)
Р
На сайте с 29.06.2012
Offline
66
Рагожин
#3

Вот фрагмент логов

198.143.187.114 - - [11/Aug/2013:00:05:39 +0400] "GET /2012/09/=%22/page/4/=%22/page/2/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
83.220.238.98 - - [11/Aug/2013:00:05:42 +0400] "GET /wp-content/uploads/2012/05/%D0%94%D0%B6%D0%B5%D0%B3%D0%B3%D0%B8%D0%BD%D1%81%D1%8B-%E2%80%93-%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82-%D0%B4%D1%80%D1%83%D0%B6%D0%B1%D1%8B-%D0%BB%D0%B5%D0%B3%D0%B3%D0%B8%D0%BD%D1%81%D0%BE%D0%B2-%D0%B8-%D0%B4%D0%B6%D0%B8%D0%BD%D1%81%D0%BE%D0%B2-300x234.jpg HTTP/1.0" 403 1445 "http://www.google.ru/search?newwindow=1&site=&source=hp&ei=45sGUoH3L6yQ4ATKgoDYAw&q=%D0%B4%D0%B6%D0%B5%D0%B3%D0%B3%D0%B8%D0%BD%D1%81%D1%8B&oq=%D0%B4%D0%B6%D0%B5%D0%B3%D0%B5%D0%BD%D1%81%D1%8B&gs_l=mobile-gws-hp.1.0.0i10j0i10i30j0i5i10i30.6977.10078.0.17373.9.8.0.1.1.0.573.2290.3j0j1j0j3j1.8.0....0...1c.1.24.mobile-gws-hp..2.7.1476.AG37MZrW0IA" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_1_4 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10B350 Safari/8536.25"
198.143.187.114 - - [11/Aug/2013:00:05:50 +0400] "GET /2012/09/=%22/page/7/page/2//page/4/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:05:53 +0400] "GET /tag/payday-express/=%22/page/34/page/5//page/4/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:05:56 +0400] "GET /tag/payday-advance-online/=%22/page/34/page/34//page/2/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:00 +0400] "GET /tag/%D0%BC%D0%B0%D0%BA%D0%B8%D1%8F%D0%B6/=%22/page/2/page/6/=%22 HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:04 +0400] "GET /2013/08/=%22/page/4/page/5//page/5/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:07 +0400] "GET /tag/instant-loan/=%22/page/6/page/5//page/5/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:11 +0400] "GET /2012/09/=%22/page/4/=%22/page/3/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:14 +0400] "GET /2013/08/=%22/page/5/page/5//page/2/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:18 +0400] "GET /tag/%D0%BC%D0%B0%D0%BA%D0%B8%D1%8F%D0%B6/=%22/page/3/page/7//page/7/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:21 +0400] "GET /2012/09/=%22/page/3/page/34//page/6/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:25 +0400] "GET /2013/08/=%22/page/5/page/4//page/2/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:28 +0400] "GET /2012/09/=%22/page/7/page/5//page/4/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:31 +0400] "GET /tag/amigo-loans/=%22/page/6/page/6//page/2/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:35 +0400] "GET /tag/%D0%BC%D0%B0%D0%BA%D0%B8%D1%8F%D0%B6/=%22/page/2/page/6/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:38 +0400] "GET /tag/payday-loan-no-credit-check/=%22/page/2/page/4//page/34/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:42 +0400] "GET /2012/06/=%22/page/2/=%22/page/6/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:45 +0400] "GET /tag/payday-express/=%22/page/34/page/5//page/5/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:48 +0400] "GET /tag/amigo-loans/=%22/page/7/page/34//page/7/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
82.145.210.177 - - [11/Aug/2013:00:06:49 +0400] "GET /wp-content/uploads/2012/10/jlo-in-chanel-spring2013-pfw-front-row.png HTTP/1.0" 403 1445 "http://www.google.com/imgres?imgurl=http://site-for-ladies.ru/wp-content/uploads/2012/10/jlo-in-chanel-spring2013-pfw-front-row.png&imgrefurl=http://site-for-ladies.ru/%25D0%25BE%25D0%25B1%25D1%2580%25D0%25B0%25D0%25B7-%25D0%25B4%25D0%25B6%25D0%25B5%25D0%25BD%25D0%25BD%25D0%25B8%25D1%2584%25D0%25B5%25D1%2580-%25D0%25BB%25D0%25BE%25D0%25BF%25D0%25B5%25D1%2581-%25D0%25BD%25D0%25B0-%25D0%25BF%25D0%25B0%25D1%2580%25D0%25B8%25D0%25B6%25D1%2581%25D0%25BA%25D0%25BE%25D0%25B9-%25D0%25BD%25D0%25B5/&usg=__0R2l5s_SftWcfSf-Ajv2w1HBK14=&h=466&w=662&sz=797&hl=ru&start=227&zoom=1&tbnid=tI3DNI1PCj7xyM:&tbnh=97&tbnw=138&ei=T50GUpaQIInetAaww4HQDQ&prev=/search%3Fq%3D%25D0%25B4%25D0%25B6%25D0%25B5%25D0%25BD%25D0%25BD%25D0%25B8%25D1%2584%25D0%25B5%25D1%2580%2B%25D0%25BB%25D0%25BE%25D0%25BF%25D0%25B5%25D1%2581%2B2013%26start%3D220%26sa%3DN%26tbm%3Disch&itbs=1&sa=X&ved=0CBQQrQMwBjjcAQ" "Opera/9.80 (Android; Opera Mini/7.5.33361/30.3643; U; ru) Presto/2.8.119 Version/11.10"
82.145.210.177 - - [11/Aug/2013:00:06:50 +0400] "GET /favicon.ico HTTP/1.0" 403 1445 "http://site-for-ladies.ru/wp-content/uploads/2012/10/jlo-in-chanel-spring2013-pfw-front-row.png" "Opera/9.80 (Android; Opera Mini/7.5.33361/30.3643; U; ru) Presto/2.8.119 Version/11.10"
198.143.187.114 - - [11/Aug/2013:00:06:52 +0400] "GET /2012/09/=%22/page/7/page/2//page/5/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:55 +0400] "GET /2012/09/=%22/page/3/page/34//page/4/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:06:59 +0400] "GET /tag/payday-advance-online/=%22/page/34/page/34//page/3/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:02 +0400] "GET /2012/06/=%22/page/2/page/6/=%22 HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:06 +0400] "GET /2013/08/=%22/page/4/page/5//page/6/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:09 +0400] "GET /2012/09/=%22/page/4/=%22/page/4/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:13 +0400] "GET /tag/instant-loan/=%22/page/6/page/5//page/4/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:16 +0400] "GET /2012/09/=%22/page/7/page/5/=%22 HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:20 +0400] "GET /2012/06/=%22/page/2/=%22/page/34/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
94.141.67.56 - - [11/Aug/2013:00:07:24 +0400] "GET /wp-content/uploads/2012/08/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9-%D1%80%D0%B5%D1%86%D0%B5%D0%BF%D1%82-%D1%87%D0%B8%D0%B7%D0%BA%D0%B5%D0%B9%D0%BA%D0%B03.jpg HTTP/1.0" 403 1445 "http://in-mag40.ru/file/dlya-pk/801-samiy-prostoy-recept-chizkeyka/" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_1_4 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10B350 Safari/8536.25"
94.141.67.56 - - [11/Aug/2013:00:07:29 +0400] "GET /wp-content/uploads/2012/08/%D0%9F%D1%80%D0%BE%D1%81%D1%82%D0%BE%D0%B9-%D1%80%D0%B5%D1%86%D0%B5%D0%BF%D1%82-%D1%87%D0%B8%D0%B7%D0%BA%D0%B5%D0%B9%D0%BA%D0%B03.jpg HTTP/1.0" 403 1445 "http://in-mag40.ru/file/dlya-pk/801-samiy-prostoy-recept-chizkeyka/" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_1_4 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10B350 Safari/8536.25"
198.143.187.114 - - [11/Aug/2013:00:07:30 +0400] "GET /2013/08/=%22/page/5/page/5//page/3/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:34 +0400] "GET /2012/09/=%22/page/7/page/5//page/3/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
198.143.187.114 - - [11/Aug/2013:00:07:37 +0400] "GET /2012/09/=%22/page/3/page/34//page/5/ HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup.com/crawler.html)"
109.205.248.98 - - [11/Aug/2013:00:07:39 +0400] "GET /wp-content/uploads/2012/07/%D0%9E%D0%B1%D0%BE%D0%B8.jpg HTTP/1.0" 403 1445 "-" "Mozilla/5.0 (iPad; CPU OS 6_1_3 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10B329 Safari/8536.25"
Den73
На сайте с 26.06.2010
Offline
523
Den73
#4

это не ddos а безобидные боты.

Р
На сайте с 29.06.2012
Offline
66
Рагожин
#5
Den73:
это не ddos а безобидные боты.

Боты далеко не безобидны, они вынуждают меня сменить тариф, а значит переплачивать как минимум 1квмр (это за нулевой то сайт без дохода!):)

Как можно узнать чьи боты?

Быстроботов яши/гула готов терпеть))))

Den73
На сайте с 26.06.2010
Offline
523
Den73
#6
Рагожин:
Боты далеко не безобидны, они вынуждают меня сменить тариф, а значит переплачивать как минимум 1квмр (и это за нелвой сайт без дохода):)
Можно узнать чьи боты?

Быстроботов яши/гула готов терпеть))))

безобидные судя по куску лога.

платить 1к конечно не стоит.

T
На сайте с 23.06.2006
Offline
257
torg
#7

Надо на уровне хостеров банить лишних ботов.

Оставить яндекс, рамблер, альтависта, яху, гугл и др самых основных.

В других поисковиках смысла нет. Вот будет достойный поисковик значит включить в белый список. Эти роботы мешают жить людям на хостингах. Сервер нагружают бессмысленной нагрузкой.

Den73
На сайте с 26.06.2010
Offline
523
Den73
#8
torg:
Надо на уровне хостеров банить лишних ботов.
Оставить яндекс, рамблер, альтависта, яху, гугл и др самых основных.
В других поисковиках смысла нет. Вот будет достойный поисковик значит включить в белый список. Эти роботы мешают жить людям на хостингах. Сервер нагружают бессмысленной нагрузкой.

на уровне хостера так нельзя делать, вообще на шараде ограничивать клиентские ресурсы в чем то это очень плохой тон.

вот если вынести в отдельный функционал что бы клиенты могли сами управлять то это годиться.

S
На сайте с 26.05.2011
Offline
139
simson
#9

Временно можно добавить в роботс

Crawl-delay: 20

Den73
На сайте с 26.06.2010
Offline
523
Den73
#10
simson:
Временно можно добавить в роботс
Crawl-delay: 20

это не поможет.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий