Ботовой трафик на сайте

S8
На сайте с 28.02.2020
Offline
40
#141
tsymbalsu #:
1. Блокировку (выборочную или диапазонами - без разницы) по IP. Как правильно подметили выше, это как "выливать воду из таза вместе с младенцем". Вместе с ботами теряем и полезный трафик. 

Не может быть полезного трафика с Amazon, Alibaba, Hetzner, Digital Ocean и прочих всевозможных Cloud-ов с хостерами. Их можно и нужно блокировать полностью, а с остальным уже разбираться.

softerra
На сайте с 02.10.2023
Offline
23
#142
Stranger82 #:

Не может быть полезного трафика с Amazon, Alibaba, Hetzner, Digital Ocean и прочих всевозможных Cloud-ов с хостерами. Их можно и нужно блокировать полностью, а с остальным уже разбираться.

Полностью поддерживаю. Я их тоже блочу ..

ЗЫ Digital Ocean - это впн ..

T
На сайте с 17.01.2023
Offline
7
#143
Stranger82 #:
Не может быть полезного трафика с Amazon, Alibaba, Hetzner, Digital Ocean и прочих всевозможных Cloud-ов с хостерами. Их можно и нужно блокировать полностью, а с остальным уже разбираться.
softerra #:
Полностью поддерживаю. Я их тоже блочу ..

1. Т.е. с vpn обычные юзеры не сидят? Зачем же так грубо действовать? 😅 И, да, если вам хочется, то блокируйте кого хотите. Только не говорите, что это необходимость для всех. Мой пример показывает, что бывают ситуации не как ваши. И вполне достаточно лёгкой настройки CF.

2. Забыл дописать, использую фильтры для ботов типа ahrefbot, bytespider, etc по дефолту, в настройках .htaccess, уже пару лет. Всё это время (до недавних описанных выше событий) ботовый трафик был менее 10%. Это для меня допустимо. 

Brat_Sergij
На сайте с 26.11.2015
Offline
337
#144
tsymbalsu #:
Всем привет. Перечитал эту тему полностью, все 15 страниц, в надежде найти ответы на главный вопрос: какими методами бороться с атакой ботов.

В моем случае на сайте с посещаемостью 1.5к чел в сутки и средней длительностью сеанса более минуты внезапно возросло количество посещений до 25к в сутки. Длительность сеанса при этом просела до 15-20 секунд. Путем анализа логов запросов понял, что меня атаковали боты. Все их заходы прямые либо с совершенно левых сайтов, на которых теоретически не может быть ссылок на мой сайт. Причем атакуются конкретные страницы сайта, которые у меня на первых позициях в Яндексе. Очевидно, заказ конкурентов, чтобы снизить стату по ПФ и убрать меня из топа выдачи.

Моё решение, учитывая все прочитанное (не претендую на 100% панацею):
1. Скрыть сайт за cloudflare.
2. Включить (временно) bot fight mode в cloudflare.
Мне пока (2 дня тестирую) помогает, показатели вернулись к прежним значениям. 

Осуждаю (для себя так определил) и не рекомендую к использованию:
1. Блокировку (выборочную или диапазонами - без разницы) по IP. Как правильно подметили выше, это как "выливать воду из таза вместе с младенцем". Вместе с ботами теряем и полезный трафик. Перед переходом на cloudflare пытался так играться, запрещал, например, все ipv6 сеансы (как показала статистика, подавляющее большинство сеансов ботов было именно с таких адресов). Тут же получил фидбэк, что сайт не доступен у кого-то.
2. Всяческих ручных антиботов которые обсуждались здесь) с капчами по цветам и т.п. Это хлопотно (например, надо настраивать исключения для нужных ботов вроде Яши/Гугла) и сильно ухудшает юзер экспериенс для реальных пользователей. Понравилось решение с отложенной загрузкой метрик, замаскированное под согласие с куками. Но это все заплаты на заплатах. Считаю, что если рубить, то у корня.

Надеюсь, мой опыт кому-то покажется полезным. Сам впервые с таким столкнулся. Спасибо этой ветке. Много полезного. ❤️

Может поделитесь инструкцией по настройке  cloudflare? Было бы актуально.

vold57
На сайте с 01.10.2007
Offline
261
#145
Brat_Sergij #:
2. Включить (временно) bot fight mode в cloudflare.

Какая польза от  bot fight mode, почему временно и на какое время включаете?

Аудит сайтов - главная часть это тщательная ручная работа, а не отчеты сервисов и программ (https://vold57.com/audit). Продвижение сайтов (https://vold57.com/seo)
S
На сайте с 12.10.2012
Offline
200
#146
tsymbalsu #:
Надеюсь, мой опыт кому-то покажется полезным. Сам впервые с таким столкнулся. Спасибо этой ветке. Много полезного. ❤️

Вы бы написали, что конкретно сделали.

Подключение Cloudflare и включение bot fight mode никак не спасает от ботов от слова совсем!

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#147
Валерий #:
лучше поставить и антибота, и развивать сайт

И крутить поведенческие в плюс.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
vold57
На сайте с 01.10.2007
Offline
261
#148
sagamorr #:

Вы бы написали, что конкретно сделали.

Подключение Cloudflare и включение bot fight mode никак не спасает от ботов от слова совсем!

Bot fight mode лучше отключить или без разницы, отключен он или включен?
S
На сайте с 12.10.2012
Offline
200
#149
vold57 #:
Bot fight mode лучше отключить или без разницы, отключен он или включен?
Я вообще никакого эффекта не заметил после его включения. Он наверное блокирует боты-краулеры, но от поведенческих ботов точно никак не поможет.
S
На сайте с 14.06.2022
Offline
11
#150
Закрыл посещение ботов с помощью капчи, результат на лицо, как теперь восстановить трафик , упал в два раза, есть надежда что сам восстановится ? отказы сократились в два раза, время посещения выросло

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий