Боты создают нагрузку на сервер

1 23
IL
На сайте с 20.04.2007
Offline
435
#21
Психиатр:
Писал в Мастерхост чтобы логи посмотрели, так как я в этом баран, они послали меня нахрен в вежливой форме.

Психиатр, если напишете, что у Вас виртуальный шаред хостинг - куча дельных, но неподходящих под эту ситуацию предложений вроде таких:

DenisVS:
Если есть возможность, лучше банить не в .htaccess, а в location nginx, так значительно меньше нагрузка.
_t2:
Блокировать их лучше через iptables. Ещё советую установить fail2ban. Весьма полезная вещь. У Вас есть доступ к SSH?

Если же VPS или дедик.. кто-то ведь занима(л|ет)ся администрированием?

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
EW
На сайте с 22.04.2013
Offline
19
#22
Психиатр:
Пытаюсь банить через .htaccess:

Order Allow,Deny
Allow from all
Deny from 109.94.0.100
Deny from 94.228.204.10

Попробуйте так:

Order Deny,Allow

Deny from 109.94.0.100

Deny from 94.228.204.10

Allow from all

http://www.webhostingzone.org (http://www.webhostingzone.org) - хостинг в США, VPS сервера, Регистрация доменов, SSL сертификаты Посмотреть отзывы о WebHostingZone. (http://www.serchen.com/company/webhostingzone/)
Оптимизайка
На сайте с 11.03.2012
Offline
396
#23
foxi:
банить можно сразу подсети таких датацентров как хенцзер, лизвеб, мастерхост, + всю индию, китай, тайвань и прочую азию...

О, а не кинете ли IP подсети крупных датацентров? Пора уж тоже расчехлить iptables, а то школьники с парсерами с каникул вернулись...

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
porh
На сайте с 14.06.2006
Offline
169
#24

У меня такой суровый запрет ) Нагрузка уменьшилась раза в 3.

<IfModule mod_setenvif.c>

SetEnvIf User-agent ^-?$ bad

SetEnvIfNoCase User-Agent MJ12bot/v1.4.3 bad
SetEnvIfNoCase User-Agent Java.* bad
SetEnvIfNoCase User-Agent Snake Bot bad
SetEnvIfNoCase User-Agent DLE_Spider bad
SetEnvIfNoCase User-Agent cmsworldmap bad
SetEnvIfNoCase User-Agent SurveyBot bad
SetEnvIfNoCase User-Agent Purebot bad
SetEnvIfNoCase User-Agent DotBot bad
SetEnvIfNoCase User-Agent Robot bad
SetEnvIfNoCase User-Agent Apache-HttpClient bad
SetEnvIfNoCase User-Agent gigabot bad
SetEnvIfNoCase User-Agent discobot bad
SetEnvIfNoCase User-Agent Nutch bad
SetEnvIfNoCase User-Agent HuaweiSymantecSpider bad
SetEnvIfNoCase User-Agent GarlikCrawler bad
SetEnvIfNoCase User-Agent SearchBot bad
SetEnvIfNoCase User-Agent Ezooms bad
SetEnvIfNoCase User-Agent ichiro bad
SetEnvIfNoCase User-Agent VoilaBot bad
SetEnvIfNoCase User-Agent Rankur bad
SetEnvIfNoCase User-Agent RadioClicker bad
SetEnvIfNoCase User-Agent Embedly bad
SetEnvIfNoCase User-Agent TweetmemeBot bad bingbot/2.0
SetEnvIfNoCase User-Agent discobot bad
SetEnvIfNoCase User-Agent Admin\ search\ system:\ bezonanet@mail.ru bad
SetEnvIfNoCase User-Agent AhrefsBot bad
SetEnvIfNoCase User-Agent kmbot bad
SetEnvIfNoCase User-Agent bingbot/2.0 bad
SetEnvIfNoCase User-Agent SetLinks bot 1.2 bad
SetEnvIfNoCase User-Agent msnbot-media/1.1 bad
SetEnvIfNoCase User-Agent SolomonoBot/1.05 bad
SetEnvIfNoCase User-Agent Baiduspider/2.0 bad
SetEnvIfNoCase User-Agent BLEXBot/1.0 bad
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad
</Limit>
</IfModule>

Прибабаха для анализа логов

Mik Foxi
На сайте с 02.03.2011
Offline
1218
#25
Оптимизайка:
О, а не кинете ли IP подсети крупных датацентров? Пора уж тоже расчехлить iptables, а то школьники с парсерами с каникул вернулись...

Я их по resolv host чекаю и баню подсети. А так списков ip не храню.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
AlexandrSG
На сайте с 14.11.2010
Offline
74
#26
foxi:
баню подсети.

Не слишком жостко?

Мало ли что за подсеть попадется.

Консультации, Inside/Outside (/ru/forum/809679) оптимизация/продвижение
Mik Foxi
На сайте с 02.03.2011
Offline
1218
#27
AlexandrSG:
Не слишком жостко?
Мало ли что за подсеть попадется.

Баню /24 ненужные страны, а также хостинговые крупные дешевые датацентры, с этого гарантированно ничего нужного не забаню. В остальном или бан отдельных ипов в фаервол или дропаю нгинксом по юзер агенту, а еще на уровне днс можно, китай и т.п. отдавать левые ip, чтоб не ходили даже на сервера... и в итоге на фронтенде ботовый траф и нагрузка падает на процентов 80-90.

NightmareZ
На сайте с 05.05.2012
Offline
44
#28
Психиатр:
У меня по ночам один из сайтов начинает страшно тупить, хочу понять причину.

У меня не так давно на одном сайте была подобная проблема. Месяц, наверное, не мог раздуплиться, что же с этим делать. И на ботов в том числе грешил. В итоге оказалось, что это я инвалид на голову и в одном SQL-запросе перед юнионом двух выборок забыл лимиты поставить, в итоге при простом запросе объединялись 150 тысяч записей, ну а дальше понятно...

nightmarez.net
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий