Как отличить боты Гугла от других посетителей

12
kpripper
На сайте с 16.07.2011
Offline
152
1642

С некоторых IP у меня идет нагрузка на сайт:

IP Location: United States United States United Haldex Ltd

IP Location: United States United States Ashburn Internet Service Solution Corp.

IP Location: Netherlands Netherlands Amsterdam Haldex Ltd

Какие-то американцы, голландцы лазят по сайту, создают нагрузку каждый почти как эти пацаны

IP Location: United States United States Mountain View Google Inc.

Вот не знаю, блокировать их или нет ? Может это тоже Гугл ? Не пострадает ли индексация ?

юни
На сайте с 01.11.2005
Offline
913
#1

Нужны конкретные ip.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
kpripper
На сайте с 16.07.2011
Offline
152
#2

213.174.145.113

63.218.226.114

46.229.166.4

юни
На сайте с 01.11.2005
Offline
913
#3
kpripper:
213.174.145.113

Это advancedhosters.com, вряд ли Гугл.

kpripper:
63.218.226.114

Они же, какой-то мелкий американский сегмент.

kpripper:
46.229.166.4

Они же, блок для внутреннего использования, согласно хуизу.

В общем, это не Гугл, скорее всего.

E
На сайте с 21.09.2009
Offline
283
#4

kpripper, Проверка робота Googlebot воспользуйтесь.

kpripper
На сайте с 16.07.2011
Offline
152
#5

Спасибо, полезно. Только что-то не совсем понятно, где делать эти прямой и обратный запросы.

E
На сайте с 21.09.2009
Offline
283
#6
kpripper:
где делать эти прямой и обратный запросы.

Для юникс систем насколько я понял.

Vin_cent
На сайте с 22.01.2010
Offline
171
#7

Можно так проверять (больше полезной информации): http://www.tcpiputils.com/browse/ip-address/213.174.145.113

firstPR
На сайте с 24.02.2013
Offline
15
#8

Проверяем агента, если GoogleBot , тогда делаем по ns запрос с ip адресом на гугл, если получаем ответ содержащий googlebot, тогда это гугл, если нет, баним ip-адрес к доступу к серверу.

kpripper
На сайте с 16.07.2011
Offline
152
#9
Vin_cent:
Можно так проверять (больше полезной информации): http://www.tcpiputils.com/browse/ip-address/213.174.145.113

Спасибо, как я понял здесь сразу проверяется возможность обратного запроса ?

Reverse DNS (PTR record) not available

Да, Гугл вернул:

Reverse DNS (PTR record) crawl-66-249-72-64.googlebot.com

kpripper
На сайте с 16.07.2011
Offline
152
#10

А вот это что за друзья ? Вчера даже гугл переплюнули.

213.174.145.113

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий