Googlebot и Cloudflare

iOweYouNothing
На сайте с 08.01.2011
Offline
186
1874

После подключения сайта к Cloudflare изменились ip Googlebotа (в логах).

До этого ip ботов Гугла были разные для каждого типа бота.

После абсолютно все гуглоботы (независимо от типа) ломятся исключительно с одного адреса (который принадлежит Гуглу), но ранее этот адрес никогда не светился в логах - 66.249.64.83.

Это договорняк Гугла с Cloudflare?

W
На сайте с 30.10.2012
Offline
77
#1
535i:
После подключения сайта к Cloudflare изменились ip Googlebotа (в логах).
До этого ip ботов Гугла были разные для каждого типа бота.
После абсолютно все гуглоботы (независимо от типа) ломятся исключительно с одного адреса (который принадлежит Гуглу), но ранее этот адрес никогда не светился в логах - 66.249.64.83.
Это договорняк Гугла с Cloudflare?

Здравствуйте. Сделайте вот это - https://support.cloudflare.com/hc/en-us/articles/200170706-How-do-I-restore-original-visitor-IP-with-Nginx-

И все вернется как было, проверено. Cloudflare проксирует через свои IP (частично находятся в IP ranges Гугла) все подряд, вышеуказанный костыль в nginx включает назад определение реальных IP.

iOweYouNothing
На сайте с 08.01.2011
Offline
186
#2

webmasteryoda, спасибо добрый человек.

Только вот в том списке нет сети, с которой бот ко мне приходит.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#3
535i:
Это договорняк Гугла с Cloudflare?

А что удивительного, в чем вопрос.проблема? Зашёл нормальный бот с другого ip, у гугла их много. Видимо этому ip короче до cloudflare стучаться, чем тем которые до этого были к вам, интернет так устроен.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
iOweYouNothing
На сайте с 08.01.2011
Offline
186
#4

Оптимизайка, ничего удивительного) Просто до этого все гуглоботы (по типам) шли с разных адресов, а теперь все с одного.

W
На сайте с 30.10.2012
Offline
77
#5
535i:
webmasteryoda, спасибо добрый человек.
Только вот в том списке нет сети, с которой бот ко мне приходит.

Как только включите тот костыль, будут разные IP Гуглбота, как и обычно. У нас так. Почему с включенным проксированием боты передаются через один IP, которого нет в списке сетей Cloudflare - хз.

И, честно говоря, не понимаю в чем проблема. Пусть себе ходит с любого айпи, лишь бы ходил.

iOweYouNothing
На сайте с 08.01.2011
Offline
186
#6

webmasteryoda, я немного разобрался с ситуацией.

За костыль спасибо, но никакого отношения к гуглоботам в этом контексте он не имеет. Он всего лишь ретранслирует заголовки Клаудфлары CF-Connecting-IP/X-Forwarded-For в стандартный заголовок nginx real_ip.

В Апаче то же самое по дефолту делает mod_remoteip.

Боты Яндекса бегают со своих родных ip, и немного новых ip прибавилось.

Гуглобот, когда узнал о Клаудфларе, начал бегать с другого ip, который ближе - спасибо Оптимизайка, разъяснил, а я проверил.

Dmitry V___v
На сайте с 07.12.2006
Offline
286
#7

Нет, это бот, умеющий обрабатывать защиту CloudFlare от DDoS и исполняющий JS.

С этой же подсети /24 ходит проверяльщик Google Ads

Создание и ведение кампаний Google/Bing/Twitter/FB Ads под USA, Canada, United Kingdom and Australia ( https://searchengines.guru/ru/forum/1028286 ) + жирный линкбилдинг под бурж ( https://searchengines.guru/ru/forum/1028282 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий