Помощь в фильтрации ботов через CloudFlare

можно, но думаю, могут появиться новые сети в любой момент
такие сети в моей базе, возможно еще что-то есть:

AS44534  YANDEX
AS13238  YANDEX


AS15169  GOOGLE
AS396982 GOOGLE-CLOUD-PLATFORM
AS36040  YOUTUBE
AS19527  GOOGLE-2
AS13949  SLIDE-INC
AS16550  GOOGLE-PRIVATE-CLOUD
AS19425  WAYMO
AS22577  LOON
AS22859  GOOGLE
AS26684  AS-GOOGLE-EDGE-INFRA
AS36039  GOOGLE
AS40873  AS-METAWEB-2
AS43515  YOUTUBE
AS139070 GOOGLE-AS-AP
AS139190 GOOGLE-AS-AP

Сейчас ходит бот маил.ru так вот это уже не бот маил.ru Ходит он с хостинга m100 VK. 

Под видом бота mail.ru сканируют сайты, наверно для GPTчата VK.

Всю AS маил.ru можно добавлять.

Ребят, а если скрыть Яндекс метрику для всех пользователей кроме из поиска. Боты которые заходят напрямую, по ссылкам и тд не смогут навредить ? 

Бот заходит, чтобы взять описание страницы сайта, если постят в вк. Для кого-то это может быть критично)))

У мейла поиском стал Яндекс.

Я парсинг немного осваиваю, могу прописать любые хедеры

Марсианские или с Андромеды ..

Парсер Ява-скрипт поддерживает? Капчу разгадывает? Или ты прокси берешь в аренду у Яндекса? Есть нюансы)

Мне это не нужно
Напрямую долблю, пока все ок

Учитесь у Озона - раз тыкнул в капчу и Озон работает долго ..
А то понаствили себе CF балбесы ..

ЗЫ Половину своих сетей блокируете ..

Озону крутят другими ботами и не так, как ПФ под Яндекс. И озон сам с ботоводами разбирается.

А ты со своим парсером им погоды вообще не делаешь, за уник контента они тоже не парятся.

Мат часть изучи, даунлоадер с гитхаба.

Тему создал, дело серьёзноё: https://searchengines.guru/ru/forum/1100941