- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Достоверно!
Меняются IP (замена) каждый квартал, не массово, а только по определенным отраслям. типа translater.google, docs и другим
Если следовать цепочке AS15169 то, касаемо IP, то там сотни (если не тысячи) подсетей.
Боты тоже гуляют с user-agent и без.
А суть вопроса в чём? Для чего инфа?
У меня есть белый список подсетей поисковиков в Nginx + разделены логи. Есть лог в который попадают запрос с Юзерагентом поисковика, но IP не из моего белого списка. Вечером они автоматически проверяются обратным DNS запросом и если это реально IP поисковика - то мне на почту приходит уведомление о необходимости обновить белый список.
Этот белый список элемент защиты, реализованный мной с помощью Nginx и geoip. Так вот - использую я его уже 8 лет на сайтах с десятками тыщ юзеров в день, за это время письмо о необходимости обновить список приходило раз 10 (в основном боты Яху). Новый IP бота гугла добавил 1 раз за 8 лет.
У меня есть белый список подсетей поисковиков в Nginx + разделены логи. Есть лог в который попадают запрос с Юзерагентом поисковика, но IP не из моего белого списка. Вечером они автоматически проверяются обратным DNS запросом и если это реально IP поисковика - то мне на почту приходит уведомление о необходимости обновить белый список.
Этот белый список элемент защиты, реализованный мной с помощью Nginx и geoip. Так вот - использую я его уже 8 лет на сайтах с десятками тыщ юзеров в день, за это время письмо о необходимости обновить список приходило раз 10 (в основном боты Яху). Новый IP бота гугла добавил 1 раз за 8 лет.
А распиши по подробнее про настройку серверов.
Если не сложно.
Почти все тут описывал https://searchengines.guru/ru/forum/954988/page2#comment_14885499
P.S. соврал выше - 7 лет прошло, оказывается...
Есть такие. Легко находится по запросу: список ip ботов google.
Ну или вот
https://developers.google.com/search/apis/ipranges/googlebot.json
Есть такие. Легко находится по запросу: список ip ботов google.
Ну или вот
https://developers.google.com/search/apis/ipranges/googlebot.json
Это официльно только, но далеко не всё!
Аналог Яши:
https://yandex.ru/ips
И до кучи ТОР:
https://github.com/SecOps-Institute/Tor-IP-Addresses/blob/master/tor-exit-nodes.lst