Защита от нагружающих парсеров

12
Solmyr
На сайте с 10.09.2007
Offline
494
569

Посоветуйте пожалуйста какие технологии можно использовать для защиты от нагружающих парсеров, то есть таких которые дают много глупых запросов. Например из одной подсети по одному запросу в секунду циклически меняя IP и юзер-агенты.

На уровне логики веб-приложения такое отсекается очень легко, но не хочется допускать таких парсеров до этого уровня, хочется корректно обрезать их чем-то раньше.

foxi
На сайте с 02.03.2011
Offline
875
#1

Клаудфлар - на уровне не доходящем до вашего сервера.

Смотреть логи и банить в nginx по юзерагенту и ip - тоже не доводя по php.

https://antibot.cloud/ - на уровне php вашего сайта.

Антибот защита для сайта (https://antibot.cloud/ru.html#searchengines) (защита от кражи контента и спама) | ВебМастерские микроблоги (https://wmsn.biz/#searchengines) | Фокси SEO форум (https://foxi.biz/#searchengines)
IL
На сайте с 20.04.2007
Offline
412
#2
Solmyr:
из одной подсети по одному запросу в секунду

Я бы смотрел в сторону nginx imit req. Осталось определиться с допустимыми правилами..

К примеру, как формализовать условие "запрашивается только странный адрес"? А потом в конфиге это условие и записать..

Если подсети известны - можно что-то вроде такого использовать:

https://stackoverflow.com/questions/49998529/nginx-rate-limiting-count-for-a-whole-subnet-not-just-per-ip

foxi
На сайте с 02.03.2011
Offline
875
#3

ivan-lev, с такими способами еще полезно иметь базу хороших ботов, типа гугла и яндекса, чтоб им не мешать, а то получится вреда больше, чем пользы.

Solmyr
На сайте с 10.09.2007
Offline
494
#4
foxi:
Клаудфлар - на уровне не доходящем до вашего сервера.

Да, cloudflare как-раз такое убирает. Но речь идет чтобы убрать своими силами.

foxi:
Смотреть логи и банить в nginx по юзерагенту и ip - тоже не доводя по php.

Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?

foxi:
https://antibot.cloud/ - на уровне php вашего сайта.

На уровне php не интересно. У меня на уровне php самописная защита, которая банит и тупых ботов и умных. А хотелось бы найти какой-то инструмент, который банит тупых ботов раньше, не доходя до уровня php.

foxi
На сайте с 02.03.2011
Offline
875
#5

Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.

foxi
На сайте с 02.03.2011
Offline
875
#6

Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.

foxi
На сайте с 02.03.2011
Offline
875
#7

Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.

foxi
На сайте с 02.03.2011
Offline
875
#8

Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.

foxi
На сайте с 02.03.2011
Offline
875
#9

Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.

IL
На сайте с 20.04.2007
Offline
412
#10
Solmyr:
Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?

Для начала определиться с условиями бана.. )) формализовать.

Так-то, тот же fail2ban можно пользовать.. :D

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий