Резкий всплеск прямых заходов. Как бороться?

Александр
На сайте с 18.03.2020
Offline
144
#1361
Priyanka_del_Rio #:
нет единой инструкции как бороться с ботами

1. Снимаете логи посещений своего сайта.
2. Сортируете их и смотрите на какие страницы чаще всего идут боты, с каких IP / ASN, в какое время.
3. Зная информацию выше:

а) Если используете CF: настраиваете в CF правила фильтрации трафика, подставляя точечно этим сеткам капчу.
б) Если не используете CF: собираете диапазоны с бототрафом, явные сетки баните в .htaccess (битерики, селектелы и т.д.), скомпрометировавшим себя IP подставляете капчу, либо на страницах, на какие чаще всего идут эти диапазоны - подставляете отложенную загрузку метрики.
в) Настроить правила php, по которым будет осуществляться фильтрация трафика (наймите программиста - это не дорого).

Но, скажу так, с CF проще настроить, руками - дольше, но эффективность что там, что там - одинаковая. Защититься можно будет только от прямого бототрафа.
От ботов, которые идут из ПС по ключевикам и т.д. - нет "легкой" защиты.
Все эти антиботы, какие Вам будут пхать в приват - они защищают на уровне настроек CF.

Серьезных ботов банить только командой и индивидуально, настраивая рубежи обороны. Это дорого и не по карману рядовым вебмастерам с личными бложиками (как у меня).

Shelton724
На сайте с 26.05.2011
Online
234
#1362
Priyanka_del_Rio #:
Снизить количество переходов с сайтов в 3 раза помогла отложенная загрузка метрики (30000 мсек), но пока непонятны долгосрочные последствия этого шага, поэтому пришлось вернуться к обычному значению (5000 мсек)

Для меня несколько странное решение у Вас. Если в реальности количество настоящих (неботовых) посещений по ссылкам на сайтах невелико, то всем, кто пришёл с каких-то сайтов, кроме нужных (ну там яндексы с гуглом, может ещё кто) - считаем, что вероятность того, что это бот, стремится к 100%, просто отказываем в доступе (ну или лайт-режим: не подгружаем вообще таким посетителям никакие метрики и коды вызова рекламы, таким образом ботам там неинтересно станет, а контент доступен всем юзверям останется.

vashfreelancer
На сайте с 24.10.2023
Offline
27
#1363
Priyanka_del_Rio #:

Проблема в чём? Что нет единой инструкции как бороться с ботами и все пишут разное на 150+ страницах

Выше Александр Вам ответил, все достаточно понятно и правильно. 7 раз собираете логи, 1 раз блокируете ботов.

Никто Вам под ключ не будет разжевывать что нужно делать. Есть база данных, с ними и работайте.

Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
PD
На сайте с 04.12.2020
Offline
45
#1364
vashfreelancer #:

Выше Александр Вам ответил, все достаточно понятно и правильно. 7 раз собираете логи, 1 раз блокируете ботов.

Никто Вам под ключ не будет разжевывать что нужно делать. Есть база данных, с ними и работайте.

Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя. 

У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.

Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.

PD
На сайте с 04.12.2020
Offline
45
#1365
Александр #:


Серьезных ботов банить только командой и индивидуально, настраивая рубежи обороны. Это дорого и не по карману рядовым вебмастерам с личными бложиками (как у меня).

Спасибо!

sarkis28
На сайте с 18.12.2018
Offline
99
#1366
Priyanka_del_Rio #:

Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя. 

У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.

Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.

я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы. 

Когда я начал более точечно блочить (поставил капчу)  по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% +  я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все.  Все эти блокировки - не панацея 
В среднем процент роботности метрики сейчас 20%.

vashfreelancer
На сайте с 24.10.2023
Offline
27
#1367
Priyanka_del_Rio #:

Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя. 

У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.

Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.

Вам вообще стоить беспокоиться что боты создают нагрузку на сервер. Боты с фейк сайтов сегодня не делают отказы, а завтра рушат сайт и влияют на выдачу.
Роботность в метрике - бесполезная фишка.

Вы делаете правило: которое дает капчу всем зонам типо .ru .com и так далее  (есть два варианта написать его и один из них обсуждался в этой ветке) - предварительно выше referer домены ПС в исключение как минимум. И все - трафик с фейк сайтов на капче отсеивается и тут неважно с какой сети они. Нужные сайты выше в белый лист.

vashfreelancer
На сайте с 24.10.2023
Offline
27
#1368
sarkis28 #:

я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы. 

Когда я начал более точечно блочить (поставил капчу)  по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% +  я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все.  Все эти блокировки - не панацея 
В среднем процент роботности метрики сейчас 20%.

нужно в связке ASN + прямой заход + URL - действие (как пример)

S
На сайте с 12.10.2012
Offline
202
#1369
sarkis28 #:

я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы. 

Когда я начал более точечно блочить (поставил капчу)  по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% +  я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все.  Все эти блокировки - не панацея 
В среднем процент роботности метрики сейчас 20%.

Можете забыть про роботность, т.к Метрика определяет только самых примитивных ботов.

Проанализируете самые популярные страницы вашего сайта, запросы по которым переходят, CTR по запросам с них и общую частотность ключей по URL.

Может случится так, что 50% и более "живого" как вы думаете трафика, окажутся боты, которые переходят из ПС по ключам.

Накрутчики парсят категории запросов через key so, поэтому ключи будут ну уж очень специфические, в реальной жизни такое вводить никто не будет.

and2005
На сайте с 21.05.2005
Offline
164
#1370
Александр #:
в) Настроить правила php, по которым будет осуществляться фильтрация трафика (наймите программиста - это не дорого).

Такое вроде здесь раньше здесь не обсуждалось.

Не могли бы пояснить, в каком направлении после CF надо еще фильтровать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий