Форум Сайтостроение Администрирование серверов

Автоматизация обратного DNS-запроса

Dram · 2018-08-31T17:13:10.0000000Z

У меня сильно нашпигованный конфиг Nginx ибо я очень не люблю плохих ботов. одним из условий в конфиге я собираю в отдельный лог запросы от ботов которые косят юзерагеном под поисковых ботов, но таковыми не являются. Но так как подсети поисковиков могут измениться хотелось бы настроить автоматическую проверку к примеру топ 10 IP из этого лога. Прошу вас - помогите написать bash скрипт для автоматизации проверки. К примеру такой командой cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head я получаю такой вывод (слева кол-во запросов, справа IP) 100 95.213.246.202 91 95.213.246.204 61 82.202.205.84 56 82.202.205.82 27 13.66.139.0 11 23.103.64.39 8 46.243.173.199 8 178.57.65.193 7 193.93.195.233 7 178.57.65.103 Далее логику работы я вижу такой - каждый из этих IP проверяем командой Host, например host 95.213.246.202 Host 202.246.213.95.in-addr.arpa. not found: 3(NXDOMAIN) и т.д. Куда то записываем эти данные, в лог какой-то. Далее сканируем этот лог на наличие в нем yandex.ru google.com Так как IP ботов яндекса и гугла возвращает host 37.9.113.197 197.113.9.37.in-addr.arpa domain name pointer 37-9-113-197.spider.yandex.com. host 66.249.76.57 57.76.249.66.in-addr.arpa domain name pointer crawl-66-249-76-57.googlebot.com. Если при сканировании лога нашли Яндекс или Гугл - шлем уведомление админу. ---------- Добавлено 31.08.2018 в 21:36 ---------- Начало вроде сам написал :)) #!/bin/bash cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head > dns.txt только наверное нужно как-то убрать первую цифру (кол-во запросов), чтобы только IP остался

EXNT

15 сентября 2018, 02:31

#21

Dram:
А чем грозит нагрузка своего резолвера? Я это делаю раз в сутки по крону.

Каждый запрос->ответ = поедание ресурсов сервера

Проверь любую организацию. Бесплатно (https://rusprofile.ru/)

1114

Dram

15 сентября 2018, 06:01

#22

По графику мунина в это время вообще не видно что что-то нагружается

Зачем быть уникальным в мире, где все можно скопировать

Вышел новый Яндекс Браузер с YandexGPT и YandexART

Автоматизация обратного DNS-запроса