Форум Сайтостроение Администрирование серверов

nginx гео фильтрация

12
D
На сайте с 28.06.2008
Offline
1114
Dram
#11
baas:
Помница вы разбирались с подобной темой. есть уже какие-то наработки?

Да, использую уже более года, вот кусок конфига

geo $whitelist {
default 0;
# ip вашего servera
***************************** 1;
# боты google
64.68.80.0/21 1;
64.233.0.0/16 1;
66.102.0.0/20 1;
72.14.192.0/18 1;
209.85.128.0/17 1;
216.239.32.0/19 1;
66.249.0.0/16 1;
104.154.0.0/16 1;
# боты yandex
77.88.0.0/18 1;
87.250.224.0/19 1;
84.201.158.0/24 1;
93.158.0.0/16 1;
95.108.128.0/17 1;
213.180.192.0/19 1;
141.8.0.0/16 1;
130.193.0.0/16 1;
5.255.0.0/16 1;
178.154.0.0/16 1;
37.9.0.0/16 1;
37.140.0.0/16 1;
5.45.207.0/24 1;
# mail.ru
217.69.0.0/16 1;
94.100.0.0/16 1;
95.163.255.0/24 1;
# bingbot-msn
40.77.0.0/16 1;
207.46.0.0/16 1;
65.52.0.0/14 1;
157.55.0.0/16 1;
131.253.0.0/16 1;
# Yahoo
68.180.0.0/16 1;
67.195.0.0/16 1;
69.147.64.0/18 1;
72.30.0.0/16 1;
74.6.0.0/16 1;
63.250.0.0/16 1;
98.139.0.0/16 1;
206.190.34.0/24 1;
# sputnik
5.143.0.0/16 1;
# opera-mini.net
82.145.0.0/16 1;
107.167.96.0/19 1;
185.26.180.0/23 1;
37.228.104.0/22 1;
37.228.111.128/26 1;
141.0.0.0/16 1;
# TelegramBot
149.154.167.0/24 1;
# Applebot
17.142.0.0/24 1;
# боты Rabler
81.19.64.0/19 1;
81.19.78.0/24 1;
# VK
87.240.169.0/24 1;
}
geoip_country /usr/share/GeoIP/GeoIP.dat;
map $geoip_country_code:$whitelist:$server_protocol $allowed_country {
default yes;
"DE:0:HTTP/1.1" no;
"NL:0:HTTP/1.1" no;
"FR:0:HTTP/1.1" no;
"CA:0:HTTP/1.1" no;
"US:0:HTTP/1.1" no;
"GB:0:HTTP/1.1" no;
"PL:0:HTTP/1.1" no;
"ES:0:HTTP/1.1" no;
"CN:0:HTTP/1.1" no;
"EG:0:HTTP/1.1" no;
"IN:0:HTTP/1.1" no;
"IT:0:HTTP/1.1" no;
"JP:0:HTTP/1.1" no;
"RO:0:HTTP/1.1" no;
"TW:0:HTTP/1.1" no;
}

+ в конфиг сайта

if ($allowed_country = no) {
return 503;
}

P.S. вместо 503 ошибки можно отдавать 444

Если не юзаете http2 либо если нужно перекрыть весь трафик, то исключаем директиву $server_protocol

Evas EvaSystems
На сайте с 31.05.2012
Offline
116
Evas EvaSystems
#12

Dram у поисковых ботов гораздо больше ip, плюс они меняются, невозможно заготовить список на всю жизнь.

Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде.

Они рекомендуют проверять обратный DNS-запрос IP-адреса через host. Но это вручную, конечно. А так необходимо искать другие решения для автоматизации.

Системный администратор Linux. Настройка, сопровождение и оптимизация серверов. Отзывы - searchengines.guru/ru/forum/1017473
Как часто гугл меняет Автоматизация обратного DNS-запроса Fastvps.ru - Благодарности! /
D
На сайте с 28.06.2008
Offline
1114
Dram
#13

Я все это читал. Я же привел не весь конфиг.

Я так же анализирую "потенциально поисковых ботов" которые не из белого списка но с нужным юзерагентом.

За 1,5 года юзания этого конфига я дополнил белый списк всего тремя подсетями и НИ РАЗУ не словил ошибок или предупреждения в кабинетах вебмастера Гугла и Яндекса.

Под этим конфигом ютятся сайты с многотысячной посещаемостью в сутки, роботы поисковиков на которых живут.

У меня аксец лог от поисковых ботов за сутки - только от поисковых ботов, больше 100 мб. и повторяю, проблем нет!

Evas:
А так необходимо искать другие решения для автоматизации.

Это последняя мулька которую я хочу реализовать, все руки не доходят.

Обратный DNS-запрос... как то так эта фигня называется.

Как часто гугл меняет Дайте совет как бороться Автоматизация обратного DNS-запроса
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий