ip-адреса ботов яндекса

12
K
На сайте с 26.10.2011
Offline
46
#11
SolloTwo:
Да, спасибо, а ты собирал чисто для себя или от нефиг делать?

Пожалуйста ;)

Собирал и продолжаю собирать (обрабатываю логи apache через php + AWK :) ) для анализа того - кто ходит, когда ходит, какие страницы смотрят, кто реально бот, кто выдает себя за бота и т.д. Считаю примерный трафик, сопоставляю с нагрузкой на сервер, если необходимо кого-то блокирую, кому-то ставлю Crawl-Delay и т.д. Если IP уже "засветился" ранее как бот, я повторно не делаю ему Reverse DNS Lookup (экономлю время).

L
На сайте с 30.10.2015
Offline
34
#12
...
V2
На сайте с 20.01.2021
Offline
0
#13
colorito #:

У zTDS в папке database есть списки IPшников поисковых систем

За актуальность, правда, не ручаюсь

Прямая ссылка на скачивание

Ccылка не работает))
Можно подробнее узнать об проэкте zTds 
Может кто то помочь с доступом ?

Dunno Watsgoinon
На сайте с 17.10.2014
Offline
74
#14
Vitya202145qwer #:

Ccылка не работает))
Можно подробнее узнать об проэкте zTds 
Может кто то помочь с доступом ?

два последних поста в чате https://t.me/z_tds

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий