Автоматизация обратного DNS-запроса

Как я понял чуть вверху уже готовый парсинг акцес лога.

А как блокируете не желательные ип, в фаерволе или на уровне маршрутов?

И еще такой нюанс , а если спустя какое-то время этот ип станет валидным, то процесс его удаления из фаервола продумали?

Пока в фаервол засунул... но вы правы, буду очищать его раз в неделю.

А не лучше вообще блокировать на уровне маршрутов, отправлять все в черную дыру.

И раз в месяц чистить эти правила.

Я так режу вредных ботов, что бы вообще по минимум затрачивать на них ресурсы.

Ну а что может быть проще и менее затратнее аптейблс?

PTR запись можно выставить любую - хоть гугла, хоть яндекса - тут еще надо проверять принадлежит ли сеть гуглу или яндексу .

Да, вы правы, но и на этом этапе, как показывает практика, все работает.

За две недели юзания я пока не встретил того что этим бы заморочился.

Надежнее проверять поисковые краулеры еще и по ASN, но стандартными средствами nginx этого уже не сделать.

cloud-shield, можно lua скрипт набросать, сам lua будет ложить в white/black листы

зачем ?

просто отправить в баз всякие Китай с Вьетнамом - не?

кстати резолвингом через host вы нагружаете свой резолвер, т.к. он ждет ответ на каждый запрос.

А чем грозит нагрузка своего резолвера? Я это делаю раз в сутки по крону.