Форум Сайтостроение Администрирование серверов

список ip подсетей поисковиков

baas
На сайте с 17.09.2012
Offline
161
baas
849

Здравствуйте.

Подскажите пожалуйста, где взять список валидных ip подсетей, поисковиков.

Я раньше непомню откуда вытягивал данные, наподобие таких. 

...

...

178.154.187.0/24	Yandex

100.43.64.0/19	Yandex

5.45.196.0/24	Yandex

	MICROSOFT-CORP-MSN-AS-2

199.59.148.0/22	TWITTER-NETWORK

103.252.114.0/23	TWITTER-NETWORK

185.45.6.0/23	TWITTER-NETWORK

...

...

216.182.232.0/21	AMAZON-AES

54.92.128.0/17	AMAZON-AES

184.73.0.0/16	AMAZON-AES

54.88.0.0/16	AMAZON-AES

54.198.0.0/16	AMAZON-AES

23.20.0.0/15	AMAZON-AES

209.131.56.0/24	YAHOO-HILLSBORO

209.131.57.0/24	YAHOO-HILLSBORO

	MICROSOFT-CORP-BCENTRAL

72.14.192.0/18	GOOGLE

64.233.167.0/24	GOOGLE

64.233.176.0/24	GOOGLE

8.34.208.0/21	GOOGLE

И т.д.

Моему списку уже больше года.

Настройка BSD систем. (https://www.fryaha.ru) Знание сила, незнание Рабочая сила!
neoks
На сайте с 17.03.2010
Offline
152
neoks
#1

Проверяйте uset-agent и ptr, кешируя валидные, так у вас всегда будет актуальный список IP адресов.

Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#2

baas, Если вам нужно проверить, настоящий ли поисковый бот или нет, то правильно делать не так. Google, Yandex, Microsoft и другие поисковики рекомендуют сначала преобразовать ip в имя хоста (для каждой ПС он будет в определенном формате), а полученный хост обратно в ip и сверить с оригинальным.

Есть определенные адреса подсетей поисковиков, откуда они приходят, но это всё может меняться со временем.

Проверка по принадлежности к сетевому диапазону компаний ненадежна, т.к. у них у всех есть облачные сервисы и масса псевдоботов ходят из microsoft azure например под видом bingbot'а.

Если свой сайт защитить от парсинга хотите, пишите в личку, могу помочь.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
S
На сайте с 25.12.2003
Offline
173
Saney
#3

В поиске слово вбиваешь, для google, amazon вроде все выдает

https://whois.arin.net/ui/query.do?queryinput=google

Красивые сниппеты Google ( https://saney.com/tools/google-snippets-generator.html )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий