ip-адреса ботов яндекса

А зачем? Делайте обратный ДНС запрос и всё. https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.xml

Спасибо, а как быть с другими ПС?

IPGrabber

IPGrabber is the world's largest database of verified search engine spiders.

Дороговато

https://support.google.com/webmasters/answer/182072?hl=ru

IP-адреса, которые использует робот Googlebot, время от времени меняются. Чтобы узнать, посещал ли он ваш сайт, просмотрите данные по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли к вашему серверу обращался Googlebot, а не другой робот.

https://support.google.com/webmasters/answer/80553

Вы можете убедиться, что ваш сайт сканирует робот Googlebot или иной поисковый робот Google. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Они могут изменяться, что вызовет проблемы на сайтах, где эти адреса указаны в коде. Поэтому мы рекомендуем выполнить DNS-запрос следующим образом:

Как убедиться, что сайт сканируется роботом Googlebot:

С помощью команды host выполните обратный DNS-запрос IP-адреса, который можно узнать в журнале.

Убедитесь, что доменное имя – googlebot.com или google.com.

С помощью команды host выполните прямой запрос DNS на преобразование доменного имени, которое вы узнали на шаге 1. IP-адрес, полученный в результате, и исходный должны совпадать.

Пример 1:

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com

crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Пример 2:

> host 66.249.90.77

77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com

rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

77.88.26.26

87.250.241.78

87.250.241.65

77.88.59.171

77.88.44.121

95.25.54.169

77.88.23.5

80.251.119.140

95.108.142.150

77.88.17.195

93.158.130.181

83.222.5.171

77.88.17.197

93.158.130.182

77.88.17.198

95.108.147.181

95.108.147.238

95.108.147.241

77.88.17.196

95.108.147.242

Вот тебе IP Яшки, которые я знаю

Их намноооого больше )

У zTDS в папке database есть списки IPшников поисковых систем

За актуальность, правда, не ручаюсь

Прямая ссылка на скачивание

За несколько лет насобирал (продолжаю собирать) кучу IP ботов. Определением диапазонов и т.д. не занимался. Список в формате: сервер ip, все названия серверов получены через Reverse DNS Lookup.

Надеюсь кому-нибудь пригодится :)

Да, спасибо, а ты собирал чисто для себя или от нефиг делать?