Помощь в фильтрации ботов через CloudFlare

M3
На сайте с 09.02.2022
Offline
48
#1381
u11494 #:

Я хотел просто добавить As записи от Яндекса и Гугла , остальные мне не нужны 

Можно же так сделать ? В раздел WAF -> Tool 

можно, но думаю, могут появиться новые сети в любой момент
такие сети в моей базе, возможно еще что-то есть:

AS44534  YANDEX
AS13238  YANDEX


AS15169  GOOGLE
AS396982 GOOGLE-CLOUD-PLATFORM
AS36040  YOUTUBE
AS19527  GOOGLE-2
AS13949  SLIDE-INC
AS16550  GOOGLE-PRIVATE-CLOUD
AS19425  WAYMO
AS22577  LOON
AS22859  GOOGLE
AS26684  AS-GOOGLE-EDGE-INFRA
AS36039  GOOGLE
AS40873  AS-METAWEB-2
AS43515  YOUTUBE
AS139070 GOOGLE-AS-AP
AS139190 GOOGLE-AS-AP
Delysid
На сайте с 27.05.2019
Offline
171
#1382

Сейчас ходит бот маил.ru так вот это уже не бот маил.ru Ходит он с хостинга m100 VK. 

Под видом бота mail.ru сканируют сайты, наверно для GPTчата VK.

Всю AS маил.ru можно добавлять.

U4
На сайте с 28.06.2024
Offline
0
#1383
Ребят, а если скрыть Яндекс метрику для всех пользователей кроме из поиска. Боты которые заходят напрямую, по ссылкам и тд не смогут навредить ? 
alaev
На сайте с 18.11.2010
Offline
763
#1384
Delysid #:

Сейчас ходит бот маил.ru так вот это уже не бот маил.ru Ходит он с хостинга m100 VK. 

Под видом бота mail.ru сканируют сайты, наверно для GPTчата VK.

Бот заходит, чтобы взять описание страницы сайта, если постят в вк. Для кого-то это может быть критично)))

У мейла поиском стал Яндекс.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
softerra
На сайте с 02.10.2023
Offline
52
#1385
Delysid #:

Сейчас ходит бот маил.ru так вот это уже не бот маил.ru Ходит он с хостинга m100 VK. 

Под видом бота mail.ru сканируют сайты, наверно для GPTчата VK.

Всю AS маил.ru можно добавлять.

Я парсинг немного осваиваю, могу прописать любые хедеры

Марсианские или с Андромеды ..

alaev
На сайте с 18.11.2010
Offline
763
#1386
softerra #:
Я парсинг немного осваиваю, могу прописать любые хедеры

Марсианские или с Андромеды ..

Парсер Ява-скрипт поддерживает? Капчу разгадывает? Или ты прокси берешь в аренду у Яндекса? Есть нюансы)

softerra
На сайте с 02.10.2023
Offline
52
#1387
alaev #:

Парсер Ява-скрипт поддерживает? Капчу разгадывает? Или ты прокси берешь в аренду у Яндекса? Есть нюансы)

Мне это не нужно
Напрямую долблю, пока все ок
softerra
На сайте с 02.10.2023
Offline
52
#1388

Учитесь у Озона - раз тыкнул в капчу и Озон работает долго ..
А то понаствили себе CF балбесы ..

ЗЫ Половину своих сетей блокируете ..

alaev
На сайте с 18.11.2010
Offline
763
#1389
softerra #:

Учитесь у Озона - раз тыкнул в капчу и Озон работает долго ..
А то понаствили себе CF балбесы ..

ЗЫ Половину своих сетей блокируете ..

Озону крутят другими ботами и не так, как ПФ под Яндекс. И озон сам с ботоводами разбирается.

А ты со своим парсером им погоды вообще не делаешь, за уник контента они тоже не парятся.

Мат часть изучи, даунлоадер с гитхаба.

Delysid
На сайте с 27.05.2019
Offline
171
#1390
alaev #:

Бот заходит, чтобы взять описание страницы сайта, если постят в вк. Для кого-то это может быть критично)))

У мейла поиском стал Яндекс.

Тему создал, дело серьёзноё: https://searchengines.guru/ru/forum/1100941

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий