ip-адреса ботов яндекса

12
alexvivarina
На сайте с 27.02.2012
Offline
79
11168

Коллеги, подскажите пожалуйста где добыть список ip-адресов с которых ходят боты яндекса?

А так же по возможности

Google, Mail, Rambler, Bing, Ask и др.

dma84
На сайте с 21.04.2009
Offline
168
#1

А зачем? Делайте обратный ДНС запрос и всё. https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.xml

IP-адресов, с которых «приходят» роботы Яндекса, тоже много, и они часто меняются. Поэтому мы не разглашаем их список и не рекомендуем использовать фильтрацию на их основе.
alexvivarina
На сайте с 27.02.2012
Offline
79
#2

Спасибо, а как быть с другими ПС?

S0
На сайте с 06.01.2011
Offline
81
#3

IPGrabber

IPGrabber is the world's largest database of verified search engine spiders.

alexvivarina
На сайте с 27.02.2012
Offline
79
#4
Sergi0k:
IPGrabber

IPGrabber is the world's largest database of verified search engine spiders.

Дороговато

c3po
На сайте с 24.08.2012
Offline
182
#5
alexvivarina:
Коллеги, подскажите пожалуйста где добыть список ip-адресов с которых ходят боты яндекса?

А так же по возможности
Google, Mail, Rambler, Bing, Ask и др.

https://support.google.com/webmasters/answer/182072?hl=ru

IP-адреса, которые использует робот Googlebot, время от времени меняются. Чтобы узнать, посещал ли он ваш сайт, просмотрите данные по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли к вашему серверу обращался Googlebot, а не другой робот.

https://support.google.com/webmasters/answer/80553

Вы можете убедиться, что ваш сайт сканирует робот Googlebot или иной поисковый робот Google. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде. Поэтому мы рекомендуем выполнить DNS-запрос следующим образом:

Как убедиться, что сайт сканируется роботом Googlebot:

С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале.

Убедитесь, что доменное имя – googlebot.com или google.com.

С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать.

Пример 1:

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com

crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Пример 2:

> host 66.249.90.77

77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com

rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Топвизор — сервис поисковой аналитики (https://topvisor.com/ru/)
KW
На сайте с 28.05.2016
Offline
1
#6

77.88.26.26

87.250.241.78

87.250.241.65

77.88.59.171

77.88.44.121

95.25.54.169

77.88.23.5

80.251.119.140

95.108.142.150

77.88.17.195

93.158.130.181

83.222.5.171

77.88.17.197

93.158.130.182

77.88.17.198

95.108.147.181

95.108.147.238

95.108.147.241

77.88.17.196

95.108.147.242

Вот тебе IP Яшки, которые я знаю

Maxiz
На сайте с 04.01.2008
Offline
180
#7
KornetWalik:
77.88.26.26
87.250.241.78
87.250.241.65
77.88.59.171
77.88.44.121
95.25.54.169
77.88.23.5
80.251.119.140
95.108.142.150
77.88.17.195
93.158.130.181
83.222.5.171
77.88.17.197
93.158.130.182
77.88.17.198
95.108.147.181
95.108.147.238
95.108.147.241
77.88.17.196
95.108.147.242
Вот тебе IP Яшки, которые я знаю

Их намноооого больше )

C
На сайте с 26.10.2013
Offline
54
#8

У zTDS в папке database есть списки IPшников поисковых систем

За актуальность, правда, не ручаюсь

Прямая ссылка на скачивание

Услуги по парсингу данных (/ru/forum/939826), единоразовый и регулярный сбор данных. Любые объемы. Скрипты на PHP, создание и доработка, решение проблем с сайтами Пишите в личные сообщения или скайп
K
На сайте с 26.10.2011
Offline
47
#9

За несколько лет насобирал (продолжаю собирать) кучу IP ботов. Определением диапазонов и т.д. не занимался. Список в формате: сервер ip, все названия серверов получены через Reverse DNS Lookup.

Надеюсь кому-нибудь пригодится :)

zip bots.zip
ST
На сайте с 03.05.2016
Offline
1
#10
kovyilin:
За несколько лет насобирал (продолжаю собирать) кучу IP ботов. Определением диапазонов и т.д. не занимался. Список в формате: сервер ip, все названия серверов получены через Reverse DNS Lookup.
Надеюсь кому-нибудь пригодится :)

Да, спасибо, а ты собирал чисто для себя или от нефиг делать?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий