Dram

Рейтинг
1115
Регистрация
28.06.2008

Ну а вот группа в ВК https://vk.com/gamblingpro

Теперь то что нужно!!! Спасибо!

---------- Добавлено 31.08.2018 в 23:15 ----------

Skom, сори не дает репу плюсануть, а можно еще вопрос.

Я тут такую конструкцию соорудил

#!/bin/bash
cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt

Я хочу обратный DNS-запрос делать для тех IP что в файл записал.

Далее логику работы я вижу такой - каждый из этих IP проверяем командой Host, например

host 95.213.246.202
Host 202.246.213.95.in-addr.arpa. not found: 3(NXDOMAIN)

и т.д. Куда то записываем эти данные, в лог какой-то. Далее сканируем этот лог на наличие в нем

yandex.ru
google.com

Так как IP ботов яндекса и гугла возвращает

host 37.9.113.197
197.113.9.37.in-addr.arpa domain name pointer 37-9-113-197.spider.yandex.com.

host 66.249.76.57
57.76.249.66.in-addr.arpa domain name pointer crawl-66-249-76-57.googlebot.com.

Если при сканировании лога нашли Яндекс или Гугл - шлем уведомление админу.

Как это можно реализовать ?

что-то не прокатывает


root@m ~ # cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head
117 95.213.246.202
103 95.213.246.204
66 82.202.205.84
60 82.202.205.82
34 13.66.139.0
12 23.103.64.39
9 178.57.65.193
8 46.243.173.199
7 91.216.3.114
7 46.243.173.84
root@m ~ # cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq | sort -nr | head
193.93.195.99
193.93.195.90
193.93.195.87
193.93.195.68
193.93.195.67
193.93.195.62
193.93.195.59
193.93.195.51
193.93.195.50
193.93.195.47
root@m ~ # cat /var/log/nginx/access.bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq | sort -nru | head
193.93.193.112
188.68.1.100
185.89.101.100
185.223.160.104
185.14.194.130
185.13.32.104
185.101.68.103
178.57.65.102
178.159.97.100
146.185.202.106

Сегодняшний лог access.zakos_pod_good_bot.log на данный момент содержит 3413 (!!!) записей.

Я не вижу смысла делать столько запросов, мне бы вполне хватило просканировать топ 10

про sort -nru не понял, попробовал запрос с ним, разницы не увидел.

Яж не кодер и 90% написанного вам не понял :((

---------- Добавлено 31.08.2018 в 22:00 ----------

просто запрос

cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort -nru

вывел непоятные IP не те что изначатльный запрос сортировал

---------- Добавлено 31.08.2018 в 22:16 ----------

пока остановился на этом


#!/bin/bash
cat /var/log/nginx/access.zakos_pod_good_bot.log | awk '{if ($9=="503") {print $1}}' | sort | uniq -c | sort -nr | head | awk '{print $2}' > dns.txt

как теперь проверять то что записалось в dns.txt ?

ахахаха Сергеич крыса :)))))))

png 176872.png

Выложить диплом, на него водяной знак (объемный, полупрозрачный) + порезать картинку на 100 частей и склепить средствми пхп не как одно целое, а 100 кусочков.

Сначала одну маленькую превьюшку, а при клике по превью открывать эти 100 кусочков.

+ сделать защиту от прямого пути до картинки как тут к примеру (страницы решебника)

Большинсктво скопировать не смогут, а те кто сможет не станут заморачиваться и возьмут в другом месте.

Можно ли для доменных зон использовать тройной воскл. знак? А то часто ложные срабатывания если домен начинается на www.dk..... например

!!!.dk

!!!.ml

Я все это читал. Я же привел не весь конфиг.

Я так же анализирую "потенциально поисковых ботов" которые не из белого списка но с нужным юзерагентом.

За 1,5 года юзания этого конфига я дополнил белый списк всего тремя подсетями и НИ РАЗУ не словил ошибок или предупреждения в кабинетах вебмастера Гугла и Яндекса.

Под этим конфигом ютятся сайты с многотысячной посещаемостью в сутки, роботы поисковиков на которых живут.

У меня аксец лог от поисковых ботов за сутки - только от поисковых ботов, больше 100 мб. и повторяю, проблем нет!

Evas:
А так необходимо искать другие решения для автоматизации.

Это последняя мулька которую я хочу реализовать, все руки не доходят.

Обратный DNS-запрос... как то так эта фигня называется.

baas:
Помница вы разбирались с подобной темой. есть уже какие-то наработки?

Да, использую уже более года, вот кусок конфига

geo $whitelist {
default 0;
# ip вашего servera
***************************** 1;
# боты google
64.68.80.0/21 1;
64.233.0.0/16 1;
66.102.0.0/20 1;
72.14.192.0/18 1;
209.85.128.0/17 1;
216.239.32.0/19 1;
66.249.0.0/16 1;
104.154.0.0/16 1;
# боты yandex
77.88.0.0/18 1;
87.250.224.0/19 1;
84.201.158.0/24 1;
93.158.0.0/16 1;
95.108.128.0/17 1;
213.180.192.0/19 1;
141.8.0.0/16 1;
130.193.0.0/16 1;
5.255.0.0/16 1;
178.154.0.0/16 1;
37.9.0.0/16 1;
37.140.0.0/16 1;
5.45.207.0/24 1;
# mail.ru
217.69.0.0/16 1;
94.100.0.0/16 1;
95.163.255.0/24 1;
# bingbot-msn
40.77.0.0/16 1;
207.46.0.0/16 1;
65.52.0.0/14 1;
157.55.0.0/16 1;
131.253.0.0/16 1;
# Yahoo
68.180.0.0/16 1;
67.195.0.0/16 1;
69.147.64.0/18 1;
72.30.0.0/16 1;
74.6.0.0/16 1;
63.250.0.0/16 1;
98.139.0.0/16 1;
206.190.34.0/24 1;
# sputnik
5.143.0.0/16 1;
# opera-mini.net
82.145.0.0/16 1;
107.167.96.0/19 1;
185.26.180.0/23 1;
37.228.104.0/22 1;
37.228.111.128/26 1;
141.0.0.0/16 1;
# TelegramBot
149.154.167.0/24 1;
# Applebot
17.142.0.0/24 1;
# боты Rabler
81.19.64.0/19 1;
81.19.78.0/24 1;
# VK
87.240.169.0/24 1;
}
geoip_country /usr/share/GeoIP/GeoIP.dat;
map $geoip_country_code:$whitelist:$server_protocol $allowed_country {
default yes;
"DE:0:HTTP/1.1" no;
"NL:0:HTTP/1.1" no;
"FR:0:HTTP/1.1" no;
"CA:0:HTTP/1.1" no;
"US:0:HTTP/1.1" no;
"GB:0:HTTP/1.1" no;
"PL:0:HTTP/1.1" no;
"ES:0:HTTP/1.1" no;
"CN:0:HTTP/1.1" no;
"EG:0:HTTP/1.1" no;
"IN:0:HTTP/1.1" no;
"IT:0:HTTP/1.1" no;
"JP:0:HTTP/1.1" no;
"RO:0:HTTP/1.1" no;
"TW:0:HTTP/1.1" no;
}

+ в конфиг сайта

if ($allowed_country = no) {
return 503;
}

P.S. вместо 503 ошибки можно отдавать 444

Если не юзаете http2 либо если нужно перекрыть весь трафик, то исключаем директиву $server_protocol

У меня вообще примечательная статистика - ниже на сркиншотах

данные в целом по сайту (три баннера адсент) и стата по одному баннеру РТБ сбоку сайта (боковая колонка, на мобилах не показывается).

В гугле рост который день, а яндексе падение ровно за тот же период.

P.S. Директ не меняю на адсент в этой бокоой колонке ибо это уже будет 4 баннер гугла на странице, пробовал он только уменьшает цены других баннеров ибо первый загружается.

png adsent.png
png direkt-1.png
Всего: 6928