Помощь в фильтрации ботов через CloudFlare

alaev
На сайте с 18.11.2010
Offline
786
#631
RomarioSpirtberg #:

А как это сделать?

Выше в теме написано. Если пустой реферер.

Либо вообще url 404 блокируй, лишь бы поисковики проходили.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
RK
На сайте с 10.12.2006
Offline
176
#632

на одном сайте до сих пор свыше 70% прямых заходов, по сравнению с трафиком из поисковых систем

для CF пропускаю все известные боты.

часть выявленных предварительно блокирую. правило выше , правила пропускающего известные  боты

таким образом, известные CF боты накручивают прямые заходы.

как узнать, что это за боты? какой программой смотреть логи,  какие логи или в CF это можно узнать?

Все виды хостинга - https://clck.ru/37EqSV - и не только ...
WN
На сайте с 22.02.2022
Offline
26
#633
Иван Комаров #:

на одном сайте до сих пор свыше 70% прямых заходов, по сравнению с трафиком из поисковых систем

для CF пропускаю все известные боты.

часть выявленных предварительно блокирую. правило выше , правила пропускающего известные  боты

таким образом, известные CF боты накручивают прямые заходы.

как узнать, что это за боты? какой программой смотреть логи,  какие логи или в CF это можно узнать?

Если вы уверены, что известные боты накручивают что-то Вам > То смотрите логи в клауде по этому правилу и сравнивайте с метрикой (время / страницу).
Или же закажите настройку правил у специалиста, который Вам все объяснит и отфильтрует.

Openso
На сайте с 09.11.2016
Offline
74
#634
Кто-нибудь оставлял ботов на сайте, были какие-то пессимизации а поисковиках? Просто задрал этот клауд, ни файлы нормально закачать, ни анализировать никак, ещё и кеш старые файлы пользователям отдает.
GreenLis
На сайте с 20.01.2017
Offline
93
#635
Openso #:
Кто-нибудь оставлял ботов на сайте, были какие-то пессимизации а поисковиках? Просто задрал этот клауд, ни файлы нормально закачать, ни анализировать никак, ещё и кеш старые файлы пользователям отдает.

Через месяц-другой повыкидывало один проект из многих топов по вч ск, в которых он прочно сидел около 3 лет, общее падение посещаемости было около 30%.

big boy
На сайте с 18.11.2006
Offline
314
#636

Забил на фильтрацию ботов.

Во-первых, криво настроил и случайно выкинул бота яши ))) Он стал получать 403 по всем страницам сайта. В вебмастер алерт об этом пришёл быстро, настройки фильтрации поправил, но потребовалась почти неделя, чтобы сообщение исчезло.

Во-вторых, не заметил вообще никаких изменений по поводу позиций или "нормального" трафика из поисковиков.

В-третьих, боты всё же влияют на доход в положительную сторону ))) Если речь о размещении рекламы, а не прямых продажах. Не слышал, чтобы боты что-то покупали )))

В-четвертых, почему-то стала искажаться статистика в метрике. Прямые заходы ушли, но появилось много внутренних. То есть часть ботов отсеять всё же не удалось.

В-пятых, полностью решить проблему у меня так и не вышло. Количество ботов сократил процентов на 50-70 максимум. Плюс обычным пользователям палки в колёса.

В-шестых, отказы выросли с 11-13% до 30-40%.

Короче говоря, воевать с ними - себе дороже вышло.

✔ Как разблокировать сайт на Cloudflare - https://webmasta.ru/blog/12-roskomnadzor-blokiruet-sayty-na-cloudflare-kak-razblokirovat
M3
На сайте с 09.02.2022
Offline
57
#637
big boy #:
В-третьих, боты всё же влияют на доход в положительную сторону ))) Если речь о размещении рекламы, а не прямых продажах. Не слышал, чтобы боты что-то покупали )))

я так недополучил ~1кк руб за год на одном сайте, после бана РСЯ)

S
На сайте с 12.10.2012
Offline
210
#638

Тут ключевое вот это:

big boy #:

В-третьих, боты всё же влияют на доход в положительную сторону ))) Если речь о размещении рекламы, а не прямых продажах. Не слышал, чтобы боты что-то покупали )))

Получается вебмастера с РСЯ на своих сайтах, так же поддерживают разрастающийся ботнет.

Тут еще активно против блокировки ботов выступает накрутчик и продавец прокси (оба предлагают свои услуги на данном форуме).

Опять же, если порог ботов превысит допустимый показатель Яндекса (не ясно какой это процент от живых пользователей), то и ваш сайт забанят в РСЯ. Ветка тут есть отдельная по этому поводу и представитель Яндекса это подтверждает.

RS
На сайте с 05.05.2023
Offline
10
#639
alaev #:
Либо вообще url 404 блокируй, лишь бы поисковики проходили.

Так вот меня интересует, как именно это можно сделать?

Анти ДДОС
На сайте с 14.03.2020
Offline
92
#640
RomarioSpirtberg #:

Так вот меня интересует, как именно это можно сделать?

Зачем спрашивать все то же самое по новой? Тогда уже выкладывайте ссылку на свой швейный ZигZаг, и пусть все желающие сходят на сайт и дают советы, а не гадают что вы там не так сделали.

Вам уже несколько раз, на протяжении многих страниц, начиная вот отсюда, все расписали. Вы сделали все ровно наоборот, и снова спрашиваете одно и то-же, по кругу.
https://searchengines.guru/ru/forum/1075193/page51#comment_16933147

Введите в правило, чтобы запретить вход на определенные страницы сайта - Яндекс - Поисковые системы
Введите в правило, чтобы запретить вход на определенные страницы сайта - Яндекс - Поисковые системы
  • 2023.09.21
  • searchengines.guru
вернул как было можно добавить себя в исключение но нет так нет. но в отчете мониторинг-роботы по-прежнему высокий показатель - 25 Значит нужно еще добавлять правила. чтобы запретить вход на определенные страницы сайта
Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий