Защита от нагружающих парсеров

12
IL
На сайте с 20.04.2007
Offline
412
#11
Solmyr:
Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?

Для начала определиться с условиями бана.. )) формализовать.

Так-то, тот же fail2ban можно пользовать.. :D

Solmyr
На сайте с 10.09.2007
Offline
495
#12
ivan-lev:
Для начала определиться с условиями бана.. )) формализовать.

Например, если с одной подсети больше 1000 запросов в 15 минут к не-файлам (или к урлам соответствующим регэкспу) то бан. И автоматически разбан через 48 часов. И вайтлист на основе хостнейма.

D
На сайте с 28.06.2008
Offline
980
#13

Использую уже три года + года два назад добавил к этому решению автоматическую проверку обратным днс запросом тех кто имел юзер агент нормального поискового бота но еще не был в белом списке.

За три года я обновил белый список раз 5 наверное не более.

ПОлет нормальный, 99% ботов идут лесом

aleksandrbol
На сайте с 17.07.2009
Offline
362
#14
Solmyr:
И автоматически разбан через 48 часов.

а это то зачем?

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий