Каким образом сайт в топе? | Блокирует всех ботов с помощью WAF правил Cloudflare

12
Vin_cent
На сайте с 22.01.2010
Offline
171
#11

" Пробовал с помощью юзерагента гуглбота и впн получить прямой доступ - блок от клауда. "

Смешно. Я у себя ещё проверяю, принадлежит ли IP к googlebot.

Delysid
На сайте с 27.05.2019
Offline
266
#12
Makas228 #:
Если поисковые роботы сканируют сайт без проблем, то почему при анализе страницы гугл сервисосом с юзерагентом гугла имеем 403 ошибку?

Потому что подделать user agent много ума не нужно, если бы ты из сетей гугла обращался к сайту тебя бы пропустило.

Анти БОТ
На сайте с 14.03.2020
Offline
128
#13
Makas228 #:
Если поисковые роботы сканируют сайт без проблем, то почему при анализе страницы гугл сервисосом с юзерагентом гугла имеем 403 ошибку?

Потому что те, кто грамотно настраивают Cloudflare, банят всех кто представляется ботом Гугла, но при этом запрос идет с подсетей, не являющихся AS Google (15169).

В Скримингфроге, например, есть возможность выбора юзерагент при парсинге. На одном сайте с Cloudflare спокойно пропустит (потому что настраивал тот кто делал это как делает большинство, левой пяткой по инструкции с VC), а на другом с этим же юзерагент - получите 403 Error.
Это же касается различных онлайн чекеров.

Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий