Как часто гугл меняет ip адреса / подсети для ботов?

Р
На сайте с 07.02.2013
Offline
164
318
Привет.
Читал в справке гугла, что у них для ботов есть определенные адреса/подсети, данные которых можно скачать и пользоваться для разных целей. Задался вопросом: а как часто они их меняют? Допустим, раз в неделю, месяц, год, года? Если знаете что-то достоверно, поделитесь, пожалуйста информацией.
Виктор Горняков
На сайте с 25.09.2006
Offline
162
#1

Достоверно!

Меняются IP (замена) каждый квартал, не массово, а только по определенным отраслям. типа translater.google, docs и другим

Если следовать цепочке AS15169 то, касаемо IP, то там сотни (если не тысячи) подсетей.

Боты тоже гуляют с user-agent и без.

А суть вопроса в чём? Для чего инфа?

XMLSeo - поисковая выдача Яндекс, Wordstat, Google через API - https://xmlseo.ru
D
На сайте с 28.06.2008
Offline
1101
#2

У меня есть белый список подсетей поисковиков в Nginx + разделены логи. Есть лог в который попадают запрос с Юзерагентом поисковика, но IP не из моего белого списка. Вечером они автоматически проверяются обратным DNS запросом и если это реально IP поисковика - то мне на почту приходит уведомление о необходимости обновить белый список. 

Этот белый список элемент защиты, реализованный мной с помощью Nginx и geoip. Так вот - использую я его уже 8 лет на сайтах с десятками тыщ юзеров в день, за это время письмо о необходимости обновить список приходило раз 10 (в основном боты Яху). Новый IP бота гугла добавил 1 раз за 8 лет.

Виктор Горняков
На сайте с 25.09.2006
Offline
162
#3
Dram #:

У меня есть белый список подсетей поисковиков в Nginx + разделены логи. Есть лог в который попадают запрос с Юзерагентом поисковика, но IP не из моего белого списка. Вечером они автоматически проверяются обратным DNS запросом и если это реально IP поисковика - то мне на почту приходит уведомление о необходимости обновить белый список. 

Этот белый список элемент защиты, реализованный мной с помощью Nginx и geoip. Так вот - использую я его уже 8 лет на сайтах с десятками тыщ юзеров в день, за это время письмо о необходимости обновить список приходило раз 10 (в основном боты Яху). Новый IP бота гугла добавил 1 раз за 8 лет.

А распиши по подробнее про настройку серверов.

Если не сложно.

D
На сайте с 28.06.2008
Offline
1101
#4

Почти все тут описывал https://searchengines.guru/ru/forum/954988/page2#comment_14885499


P.S. соврал выше - 7 лет прошло, оказывается...

Попробуйте делать защиту от DDOS, чтобы не навредить поисковикам - Администрирование серверов - Сайтостроение
Попробуйте делать защиту от DDOS, чтобы не навредить поисковикам - Администрирование серверов - Сайтостроение
  • 2024.02.14
  • searchengines.guru
Сканирует пачками примерно по 100 страниц с одного ip. location что означает что вы не то что разное ограничение по разным сайтам можете накидать. просто вам в директиву limit zone нужно попробовать помимо IP пропихнуть еще хост
Анти ДДОС
На сайте с 14.03.2020
Offline
66
#5
рецидивист :
Привет.
Читал в справке гугла, что у них для ботов есть определенные адреса/подсети, данные которых можно скачать и пользоваться для разных целей. 

Есть такие. Легко находится по запросу: список ip ботов google.

Ну или вот
https://developers.google.com/search/apis/ipranges/googlebot.json

Настройка Cloudflare, поведенческие факторы, АнтиБот, ДДОС, Biterika Rostelecom прямые переходы https://antiddos24.ru
Виктор Горняков
На сайте с 25.09.2006
Offline
162
#6
Анти ДДОС #:

Есть такие. Легко находится по запросу: список ip ботов google.

Ну или вот
https://developers.google.com/search/apis/ipranges/googlebot.json

Это официльно только, но далеко не всё!

Аналог Яши:

https://yandex.ru/ips

И до кучи ТОР:

https://github.com/SecOps-Institute/Tor-IP-Addresses/blob/master/tor-exit-nodes.lst

Диапазоны IP-адресов, используемых Яндексом
  • yandex.ru
v4 and v6 IP address ranges, prefix, Yandex networks

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий