- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Суть в том, что с IP 74.125.209.68 периодически фиксируются заходы с частотой порядка 20 - 30 раз в секунду. Продолжительность около 5-ти минут.
Посмотрел, AS15169 GOOGLE
User agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36
Возник вопрос - реально Google может ходить с такой частотой и таким User agent ?
Или кто-то маскируется?
CloudFlare заблокировал его по правилу "Rate limited", но может добавить этот ASN в список известных роботов с отключением правила?
CloudFlare заблокировал его по правилу "Rate limited", но может добавить этот ASN в список известных роботов с отключением правила?
PS Да, на слабеньком VPS, ПС боты периодически отправляли его на простой. После оптимизации и уменьшения использования бюджета до 2-5% . Сервер держит нагрузку и не падает
Да при чем тут это?
Вопрос был совершенно в другом.
Ещё раз пишу вопрос - может ли Гугл с таким User Agent, периодически обходить сайт с частотой 30 раз в сек?
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36
Да и формируются они с большим опозданием, а у меня вчера был массовый заход.
Просто есть подозрение что это не бот Гугла.
Да при чем тут это?
Вопрос был совершенно в другом.
Ещё раз пишу вопрос - может ли Гугл с таким User Agent, периодически обходить сайт с частотой 30 раз в сек?
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36
А какая разница, какой у него юзер-агент, если айпишник реально гугловский?
Не надо его никак ограничивать.
А какая разница, какой у него юзер-агент, если айпишник реально гугловский?
Может подделали как-то или ошибка в отчетах.
Слишком частое обращение, User Agent не бота, мгновенный наплыв, ...
Может подделали как-то или ошибка в отчетах.
Слишком частое обращение, User Agent не бота, мгновенный наплыв, ...
Как подделали? Если у вас в логах этот айпи — значит с него и приходили, как это можно подделать?
Без разницы, чей юзер-агент. Айпи принадлежит Гуглу. Может это не обычный бот, а какой-нибудь бот-форточник-картиночник, мало ли у Гугла ботов?
Как подделали?
Я в этом особо не разбираюсь, но читал что есть IP-спуфинг, находят дырки в скриптах и используют как прокси, и прочее.
Основной вопрос максимальная частота сканирования у Гугла
Основной вопрос максимальная частота сканирования у Гугла
В настоящее время Google поддерживает сканирование сайтов с максимальной частотой около 10 запросов в секунду. Однако это значение может быть изменено по усмотрению Google, и может быть ограничено в случае, если бот сайта не соответствует рекомендациям или политикам Google по сканированию.
© Чат ЖПТ
Googlebot выдает от 10 до 20 RPS.
Заходит не через rate limited proxy, а с crawl-....googlebot.com
Через прокси, вероятно, работают какие-то вспомогательные службы.
Google многообразен. У вас может быть по-другому.