Форум Поисковые системы Прочие поисковики

Где можно достать свежие списки IP-адресов поисковых ботов ?

autobuh
На сайте с 03.02.2012
Offline
52
autobuh
6420

Где можно достать "свежие" списки IP-адресов различных поисковых ботов-пауков типа такого: http://myhouselife.ru/bots.php,

но за минусом ботов Яндекса и Google ?

Просто этот уже устарел.

Пишите письма ...
L
На сайте с 07.12.2007
Offline
351
Ladycharm
#1

В логах своего веб-сервера. Потом - пробить эти IP на принадлежность автономным сетям AS).

Только не всех ботов можно так спалить - Majestic-12 не имеет собственных IP, ходит только с клиентских.

autobuh
На сайте с 03.02.2012
Offline
52
autobuh
#2
Ladycharm:
В логах своего веб-сервера. Потом - пробить эти IP на принадлежность автономным сетям AS)

Так всё равно - эти логи придётся постоянно просматривать. А времени может и не быть.

Пока я просто бы добавил их в некий "чёрный список".

Неужели нет готовых таких списков ?

Кто-то же наверняка сталкивался с такой проблемой ?

autobuh
На сайте с 03.02.2012
Offline
52
autobuh
#3

Неужели ни у кого нет готового такого списка ?

S0
На сайте с 06.01.2011
Offline
81
Sergi0k
#4

Здесь: http://bseolized.com/products/74-ipgrabber

V1
На сайте с 24.10.2012
Offline
64
vyacheslav12
#5

Не нужны никакие списки

if(preg_match('#(yandexbot|yandex\.com\/bots)#i',$_SERVER['HTTP_USER_AGENT'])){
if(preg_match('#([a-z0-9]\.|^)yandex\.(net|com|ru)$#',gethostbyaddr($_SERVER['REMOTE_ADDR']))){
//хороший бот
} else {
//пошёл на фиг
}
}
autobuh
На сайте с 03.02.2012
Offline
52
autobuh
#6
vyacheslav12:
Не нужны никакие списки: ...

Да, это классно, но мне ещё нужно, чтобы эти "плохие" поисковые боты не кликали по моим рекламным объявлениям Директ и Adwords в рекламных блоках на сайтах этих поисковиков.

По ходу, Google Adwords и Яндекс.Директ, увы, не всегда определяют их как кликфрод.

И именно в настройках рекламы мне надо запретить показы на такие конкретные IP-адреса !!!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий