пару часов погуглил и продвинулся еще дальше, вот что имею на данный момент
#!/bin/bash cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt cat dns.txt | while read line do host $line >> result.txt done
в файл result.txt получаю вывод
Host 136.3.216.91.in-addr.arpa. not found: 3(NXDOMAIN) Host 202.246.213.95.in-addr.arpa. not found: 3(NXDOMAIN) 204.246.213.95.in-addr.arpa domain name pointer angry.io. Host 0.139.66.13.in-addr.arpa. not found: 3(NXDOMAIN) Host 84.205.202.82.in-addr.arpa. not found: 3(NXDOMAIN) 82.205.202.82.in-addr.arpa domain name pointer as3.angry.io. Host 53.3.216.91.in-addr.arpa. not found: 3(NXDOMAIN) Host 31.183.181.95.in-addr.arpa. not found: 3(NXDOMAIN) Host 183.90.243.91.in-addr.arpa. not found: 3(NXDOMAIN) Host 13.90.243.91.in-addr.arpa. not found: 3(NXDOMAIN) Host 136.3.216.91.in-addr.arpa. not found: 3(NXDOMAIN)
теперь пытаюсь понять как его просканировать на наличие слов yandex и google и если нашло - то отправлять админу уведомление
как то так надо..
egrep -w 'yandex|google' result.txt
---------- Добавлено 01.09.2018 в 10:29 ----------
почти дописал :)))
#!/bin/bash cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt cat dns.txt | while read line do host $line >> result.txt done FILEPATH=gootbot.log egrep -w 'yandex|google' result.txt > $FILEPATH if [ -s $FILEPATH ] then mail -s 'Возможно хороший бот' 444@gmail.com < $FILEPATH fi
Но почему то письмо не приходит :( (я там специально добавил строку с яндексом для проверки, лог gootbot.log создался)
---------- Добавлено 01.09.2018 в 10:58 ----------
Понял на сервере не настроена почта, тут ошибка /var/log/exim4
SMTP error from remote mail server after end of data: 451 4.7.1 Sorry, the service is currently unavailable. Please come back later. 1535788455-L6m2Q984CN-sFVmqsvO
info@site.ru R=dnslookup_relay_to_domains T=remote_smtp defer (-46) H=mx.yandex.net [213.180.193.89]: SMTP error from remote mail server after end of data: 451 4.7.1 Sorry, the service is currently unavailable. Please come back later. 1535788431-W37gQEU4Nr-rp74xrmp
Выложить диплом, на него водяной знак (объемный, полупрозрачный) + порезать картинку на 100 частей и склепить средствми пхп не как одно целое, а 100 кусочков.
Сначала одну маленькую превьюшку, а при клике по превью открывать эти 100 кусочков.
+ сделать защиту от прямого пути до картинки как тут к примеру (страницы решебника)
Большинсктво скопировать не смогут, а те кто сможет не станут заморачиваться и возьмут в другом месте.
Я так же анализирую "потенциально поисковых ботов" которые не из белого списка но с нужным юзерагентом.
За 1,5 года юзания этого конфига я дополнил белый списк всего тремя подсетями и НИ РАЗУ не словил ошибок или предупреждения в кабинетах вебмастера Гугла и Яндекса.
Под этим конфигом ютятся сайты с многотысячной посещаемостью в сутки, роботы поисковиков на которых живут.
У меня аксец лог от поисковых ботов за сутки - только от поисковых ботов, больше 100 мб. и повторяю, проблем нет!
Evas: А так необходимо искать другие решения для автоматизации.
Это последняя мулька которую я хочу реализовать, все руки не доходят.
Обратный DNS-запрос... как то так эта фигня называется.
пару часов погуглил и продвинулся еще дальше, вот что имею на данный момент
cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt
cat dns.txt | while read line
do
host $line >> result.txt
done
в файл result.txt получаю вывод
Host 202.246.213.95.in-addr.arpa. not found: 3(NXDOMAIN)
204.246.213.95.in-addr.arpa domain name pointer angry.io.
Host 0.139.66.13.in-addr.arpa. not found: 3(NXDOMAIN)
Host 84.205.202.82.in-addr.arpa. not found: 3(NXDOMAIN)
82.205.202.82.in-addr.arpa domain name pointer as3.angry.io.
Host 53.3.216.91.in-addr.arpa. not found: 3(NXDOMAIN)
Host 31.183.181.95.in-addr.arpa. not found: 3(NXDOMAIN)
Host 183.90.243.91.in-addr.arpa. not found: 3(NXDOMAIN)
Host 13.90.243.91.in-addr.arpa. not found: 3(NXDOMAIN)
Host 136.3.216.91.in-addr.arpa. not found: 3(NXDOMAIN)
теперь пытаюсь понять как его просканировать на наличие слов yandex и google и если нашло - то отправлять админу уведомление
как то так надо..
---------- Добавлено 01.09.2018 в 10:29 ----------
почти дописал :)))
cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt
cat dns.txt | while read line
do
host $line >> result.txt
done
FILEPATH=gootbot.log
egrep -w 'yandex|google' result.txt > $FILEPATH
if [ -s $FILEPATH ]
then
mail -s 'Возможно хороший бот' 444@gmail.com < $FILEPATH
fi
Но почему то письмо не приходит :( (я там специально добавил строку с яндексом для проверки, лог gootbot.log создался)
---------- Добавлено 01.09.2018 в 10:58 ----------
Понял на сервере не настроена почта, тут ошибка /var/log/exim4
Ну а вот группа в ВК https://vk.com/gamblingpro
Теперь то что нужно!!! Спасибо!
---------- Добавлено 31.08.2018 в 23:15 ----------
Skom, сори не дает репу плюсануть, а можно еще вопрос.
Я тут такую конструкцию соорудил
cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt
Я хочу обратный DNS-запрос делать для тех IP что в файл записал.
Далее логику работы я вижу такой - каждый из этих IP проверяем командой Host, например
Host 202.246.213.95.in-addr.arpa. not found: 3(NXDOMAIN)
и т.д. Куда то записываем эти данные, в лог какой-то. Далее сканируем этот лог на наличие в нем
google.com
Так как IP ботов яндекса и гугла возвращает
197.113.9.37.in-addr.arpa domain name pointer 37-9-113-197.spider.yandex.com.
host 66.249.76.57
57.76.249.66.in-addr.arpa domain name pointer crawl-66-249-76-57.googlebot.com.
Если при сканировании лога нашли Яндекс или Гугл - шлем уведомление админу.
Как это можно реализовать ?
что-то не прокатывает
root@m ~ # cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head
117 95.213.246.202
103 95.213.246.204
66 82.202.205.84
60 82.202.205.82
34 13.66.139.0
12 23.103.64.39
9 178.57.65.193
8 46.243.173.199
7 91.216.3.114
7 46.243.173.84
root@m ~ # cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq | sort -nr | head
193.93.195.99
193.93.195.90
193.93.195.87
193.93.195.68
193.93.195.67
193.93.195.62
193.93.195.59
193.93.195.51
193.93.195.50
193.93.195.47
root@m ~ # cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq | sort -nru | head
193.93.193.112
188.68.1.100
185.89.101.100
185.223.160.104
185.14.194.130
185.13.32.104
185.101.68.103
178.57.65.102
178.159.97.100
146.185.202.106
Сегодняшний лог access.zakos_pod_good_bot.log на данный момент содержит 3413 (!!!) записей.
Я не вижу смысла делать столько запросов, мне бы вполне хватило просканировать топ 10
про sort -nru не понял, попробовал запрос с ним, разницы не увидел.
Яж не кодер и 90% написанного вам не понял :((
---------- Добавлено 31.08.2018 в 22:00 ----------
просто запрос
вывел непоятные IP не те что изначатльный запрос сортировал
---------- Добавлено 31.08.2018 в 22:16 ----------
пока остановился на этом
#!/bin/bash
cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt
как теперь проверять то что записалось в dns.txt ?
ахахаха Сергеич крыса :)))))))
Выложить диплом, на него водяной знак (объемный, полупрозрачный) + порезать картинку на 100 частей и склепить средствми пхп не как одно целое, а 100 кусочков.
Сначала одну маленькую превьюшку, а при клике по превью открывать эти 100 кусочков.
+ сделать защиту от прямого пути до картинки как тут к примеру (страницы решебника)
Большинсктво скопировать не смогут, а те кто сможет не станут заморачиваться и возьмут в другом месте.
Можно ли для доменных зон использовать тройной воскл. знак? А то часто ложные срабатывания если домен начинается на www.dk..... например
!!!.dk
!!!.ml
Я все это читал. Я же привел не весь конфиг.
Я так же анализирую "потенциально поисковых ботов" которые не из белого списка но с нужным юзерагентом.
За 1,5 года юзания этого конфига я дополнил белый списк всего тремя подсетями и НИ РАЗУ не словил ошибок или предупреждения в кабинетах вебмастера Гугла и Яндекса.
Под этим конфигом ютятся сайты с многотысячной посещаемостью в сутки, роботы поисковиков на которых живут.
У меня аксец лог от поисковых ботов за сутки - только от поисковых ботов, больше 100 мб. и повторяю, проблем нет!
А так необходимо искать другие решения для автоматизации.
Это последняя мулька которую я хочу реализовать, все руки не доходят.
Обратный DNS-запрос... как то так эта фигня называется.
Помница вы разбирались с подобной темой. есть уже какие-то наработки?
Да, использую уже более года, вот кусок конфига
default 0;
# ip вашего servera
***************************** 1;
# боты google
64.68.80.0/21 1;
64.233.0.0/16 1;
66.102.0.0/20 1;
72.14.192.0/18 1;
209.85.128.0/17 1;
216.239.32.0/19 1;
66.249.0.0/16 1;
104.154.0.0/16 1;
# боты yandex
77.88.0.0/18 1;
87.250.224.0/19 1;
84.201.158.0/24 1;
93.158.0.0/16 1;
95.108.128.0/17 1;
213.180.192.0/19 1;
141.8.0.0/16 1;
130.193.0.0/16 1;
5.255.0.0/16 1;
178.154.0.0/16 1;
37.9.0.0/16 1;
37.140.0.0/16 1;
5.45.207.0/24 1;
# mail.ru
217.69.0.0/16 1;
94.100.0.0/16 1;
95.163.255.0/24 1;
# bingbot-msn
40.77.0.0/16 1;
207.46.0.0/16 1;
65.52.0.0/14 1;
157.55.0.0/16 1;
131.253.0.0/16 1;
# Yahoo
68.180.0.0/16 1;
67.195.0.0/16 1;
69.147.64.0/18 1;
72.30.0.0/16 1;
74.6.0.0/16 1;
63.250.0.0/16 1;
98.139.0.0/16 1;
206.190.34.0/24 1;
# sputnik
5.143.0.0/16 1;
# opera-mini.net
82.145.0.0/16 1;
107.167.96.0/19 1;
185.26.180.0/23 1;
37.228.104.0/22 1;
37.228.111.128/26 1;
141.0.0.0/16 1;
# TelegramBot
149.154.167.0/24 1;
# Applebot
17.142.0.0/24 1;
# боты Rabler
81.19.64.0/19 1;
81.19.78.0/24 1;
# VK
87.240.169.0/24 1;
}
geoip_country /usr/share/GeoIP/GeoIP.dat;
map $geoip_country_code:$whitelist:$server_protocol $allowed_country {
default yes;
"DE:0:HTTP/1.1" no;
"NL:0:HTTP/1.1" no;
"FR:0:HTTP/1.1" no;
"CA:0:HTTP/1.1" no;
"US:0:HTTP/1.1" no;
"GB:0:HTTP/1.1" no;
"PL:0:HTTP/1.1" no;
"ES:0:HTTP/1.1" no;
"CN:0:HTTP/1.1" no;
"EG:0:HTTP/1.1" no;
"IN:0:HTTP/1.1" no;
"IT:0:HTTP/1.1" no;
"JP:0:HTTP/1.1" no;
"RO:0:HTTP/1.1" no;
"TW:0:HTTP/1.1" no;
}
+ в конфиг сайта
return 503;
}
P.S. вместо 503 ошибки можно отдавать 444
Если не юзаете http2 либо если нужно перекрыть весь трафик, то исключаем директиву $server_protocol