Форум Сайтостроение Хостинг

Боты рвут сервер...

12 3
Arakss
На сайте с 24.03.2016
Offline
36
Arakss
3361

Здравствуйте! Включил вчера логирование на сервере.

Вот результаты за сегодня самых активных IP:

Активность

5965 141.8.142.92 яндекс

4231 66.249.64.15 гугл

3000 188.64.116.207 Vidikon-K, CJSC

2932 178.154.189.35 яндекс

2490 66.102.9.128 гугл

2471 66.102.9.158 гугл

2341 66.102.9.131 гугл

1813 207.46.13.101 Microsoft bingbot

1774 213.151.7.160 Екатеринбург

1757 157.55.39.83 Microsoft bingbot

1755 207.46.13.14 Microsoft bingbot

1719 157.55.39.129 Microsoft bingbot

1701 93.170.32.84 AirExpress Украина

1697 194.158.204.70 Beltelecom беларусь

1530 217.69.133.46 MAILRU-NET маил ру бот

1217 82.145.222.119 Opera Mini Proxies

1073 188.114.194.192 RazdolnoeInternetServiseLLC

1006 91.219.137.218 Ilim Telecom Ltd.

1000 94.25.177.82 PJSC MegaFon

На сайте посещаемость невелика около 10к уников в сутки.

Яндекс, гугл маил и другие понятно шастают.

Но, что забыли эти с тысячами обращений, по разным страничкам? (развлекательная тематика)

1700 AirExpress Украина

1697 Beltelecom беларусь

3000 Vidikon-K, CJSC

Что делать банить? Для чего они это делают, может парсят?

Dokkino.org (http://dokkino.org)
rustelekom
На сайте с 20.04.2005
Offline
522
rustelekom
#1

Парсят небось...

SSD VPS, SSD хостинг и выделенные серверы в Германии или РФ, FTP хранилища, регистрация доменов и SSL сертификаты ( https://www.robovps.biz/ ) Контакты: Telegram ( https://t.me/rustelekom_bot )
denis716
На сайте с 12.09.2007
Offline
115
denis716
#2

Яндекс с гуглом ограничивайте с помощью Crawl-delay в robots.txt

остальных в бан

Arakss
На сайте с 24.03.2016
Offline
36
Arakss
#3
denis716:
Яндекс с гуглом ограничивайте с помощью Crawl-delay в robots.txt
остальных в бан

Спасибо, так и сделаю.

kxk
На сайте с 30.01.2005
Offline
970
kxk
#4

Arakss, Нужно ставить защиту от парсинга, ip могут быть любые:)

Ваш DEVOPS
EM
На сайте с 06.10.2011
Offline
96
El Marshal Che
#5

Гуглбот crawl-delay не понимает. Нужно в https://www.google.com/webmasters/tools/home выставлять.

S
На сайте с 17.08.2008
Offline
114
smbbws
#6

Надо банить всех посторонних ботов кроме яндекса и гугла.

Примерный набросок... (предполагается что сервер nginx )


в секцию http

map $http_user_agent $bad_agent{
default "";
"" 1;
"-" 1;
~*(mj12bot|wget|curl|PycURL|ahrefs|sogou|baidu|HTTrack|MegaIndex|magpie|xpymep|BLEXBot|DotBot|XoviBot|spbot|yahoo|SemrushBot|proximic|Begun|Xenu|bingbot|SiteExplorer) 1;
}
limit_req_zone zone=REQ_IN_SECOND:4m rate=1r/s;
limit_req_zone zone=REQ_IN_MINUTA:4m rate=30r/m;



в секцию сервер каждого сайта
if ($bad_agent) {
return 503 ;
}

в локейшины с динамикой
limit_req zone=REQ_IN_SECOND burst=2 nodelay;
limit_req zone=REQ_IN_MINUTA burst=60 nodelay;

MIKLFIRM
На сайте с 13.02.2010
Offline
166
MIKLFIRM
#7
smbbws:
Надо банить всех посторонних ботов кроме яндекса и гугла.

Примерный набросок... (предполагается что сервер nginx )

Дельный совет даёшь. Я как-то тоже от ботов мучался - и только аналогичная конструкция спасла.

Жизнь в стиле IT (http://www.mikl.su) Мои отзывы (http://about-hosting.ru/) о хостингах.
Arakss
На сайте с 24.03.2016
Offline
36
Arakss
#8
smbbws:
Надо банить всех посторонних ботов кроме яндекса и гугла.

Примерный набросок... (предполагается что сервер nginx )

Спасибо буду пробовать, вроде ботами поисковиков могут прикидываться и парсеры?

Сегодня же вот что активно

4312 обращений

82.145.220.168 Opera Mini Proxies

Это прокси сервис используется только для опера мини?

Посмотрел заходов с оперы мини всего 25шт.

Может еще что использует их прокси, приложения для экономии трафика?

Matas
На сайте с 10.01.2017
Offline
4
Matas
#9

Для тех, кто по каким либо причинам не использует nginx можно сделать фильтрацию нежелательных ботов через фаервол на сервере. Для этого добавляем такие строки: 


-A INPUT -p tcp -m string --string "AhrefsBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Baiduspider" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "bingbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "BLEXBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "BuddhaBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Butterfly" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "coccoc" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Ezooms" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "meanpathbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "METASpider" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "MetaURI" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "MJ12bot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Moreover" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "msnbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Nekstbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Nigma.ru" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "NING" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "PaperLiBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "QuerySeekerSpider" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "rogerbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SemrushBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SeznamBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SolomonoBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SputnikBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "TurnitinBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "TweetmemeBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Twitterbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "UnwindFetchor" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Yeti" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

в файле /etc/sysconfig/iptables сохраняем изменения и перезапускаем службу 

/etc/init.d/iptables restart
все, боты будут блокироваться на уровне фаервола сервера.
Coretek.ru (https://coretek.ru/) - все виды хостинга по разумным ценам, свежие сервера в различных ДЦ мира! (/ru/forum/957053)
denis716
На сайте с 12.09.2007
Offline
115
denis716
#10
Matas:
Для тех, кто по каким либо причинам не использует nginx можно сделать фильтрацию нежелательных ботов через фаервол на сервере. Для этого добавляем такие строки: 


-A INPUT -p tcp -m string --string "AhrefsBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Baiduspider" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "bingbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "BLEXBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "BuddhaBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Butterfly" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "coccoc" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Ezooms" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "meanpathbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "METASpider" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "MetaURI" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "MJ12bot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Moreover" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "msnbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Nekstbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Nigma.ru" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "NING" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "PaperLiBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "QuerySeekerSpider" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "rogerbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SemrushBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SeznamBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SolomonoBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "SputnikBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "TurnitinBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "TweetmemeBot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Twitterbot" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "UnwindFetchor" --algo kmp --to 65535 -m tcp --dport 80 -j DROP

-A INPUT -p tcp -m string --string "Yeti" --algo kmp --to 65535 -m tcp --dport 80 -j DROP


в файле /etc/sysconfig/iptables сохраняем изменения и перезапускаем службу 
/etc/init.d/iptables restart
все, боты будут блокироваться на уровне фаервола сервера.

а POST или GET запрос типа myvar=coccoc файрвол с такими настройками пропустит?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий