Google опубликовал полный список IP-адресов, которые используются агентами пользователя Googlebot. Об этом сообщается на странице, посвященной последним изменениям в документации по поиску.
Ссылка на этот список была добавлена в справочную статью «Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы Google», но пока только в англоязычную версию.
Теперь владельцы сайтов могут определять поисковых роботов Google по IP-адресам.
Согласно Google, проверка рекомендуется, если есть подозрения, что спамеры или другие злоумышленники пытаются получить доступ к сайту под видом Googlebot.
При этом в предыдущей версии документа также говорилось, что Google не публикует общедоступные списки разрешенных IP-адресов для владельцев сайтов.
«Диапазоны адресов могут меняться, и это вызывало бы проблемы на сайтах, если такие IP-адреса заданы в их коде. Поэтому для проверки требуется выполнять DNS-запросы, как описано ниже».
В обновленном документе этого примечания больше нет.
