Помощь в фильтрации ботов через CloudFlare

M3
На сайте с 09.02.2022
Offline
43
#571
TheVS #:
Яндекс метрика видит, что это боты

а как она это видит и где показывает статистику?
я пытался в "роботах" вычислить по IP, но безрезультатно 

TheVS
На сайте с 27.12.2006
Online
439
#572
master32 #:

а как она это видит и где показывает статистику?
я пытался в "роботах" вычислить по IP, но безрезультатно 

Явным образом вроде бы нигде не показывает, можно просто соотнести отфильтрованные от ботов данные и % роботности по сайту. Для вычисления ip нужно изменить код метрики, это можно быстро загуглить, но в этом нет смысла, т.к. заходящие с поиска боты это не только привычные всем московские ртк, мегафон и битерика, а вся страна и бОльшее количество провайдеров.

🍄 Финансовая партнёрская программа для вебмастеров и блогеров: https://bit.ly/finance_pp
TheVS
На сайте с 27.12.2006
Online
439
#573
Hitechrem #:

Прямые заходы или внутренние переходы? 

В моих подсчётах прямые заходы ботов=внутренние переходы ботов. Возможно, я не совсем понимаю принцип учёта метрикой внутренних переходов, но в моём понимании визит #1 никак не может быть внутренним переходом, даже если есть реферер со страницей этого сайта. Я так понимаю, что внутренний заход по логике метрики это тот же заход по внешней ссылке/рекламе, просто в поддельном реферере вместо внешнего источника/utm указана эта же страница, на которую осуществляется вход.

M3
На сайте с 09.02.2022
Offline
43
#574
TheVS #:

В моих подсчётах прямые заходы ботов=внутренние переходы ботов. Возможно, я не совсем понимаю принцип учёта метрикой внутренних переходов, но в моём понимании визит #1 никак не может быть внутренним переходом, даже если есть реферер со страницей этого сайта. Я так понимаю, что внутренний заход по логике метрики это тот же заход по внешней ссылке/рекламе, просто в поддельном реферере вместо внешнего источника/utm указана эта же страница, на которую осуществляется вход.

то бишь первый заход с рефом самой страницы, смело можно отнести к боту?

TheVS
На сайте с 27.12.2006
Online
439
#575
master32 #:

то бишь первый заход с рефом самой страницы, смело можно отнести к боту?

Да, потому что по инструкции метрики внутренний переход — это повторный заход после завершившейся сессии. Например, обновление страницы спустя долгое время неактивности. Но не исключаю, что в справке написано одно, а на деле работает это иначе.

GasTarbols
На сайте с 14.12.2007
Offline
151
#576
Hitechrem #:

Прямые заходы или внутренние переходы? 

Сейчас это прямые заходы.

Отвечая на свой же вопрос: увидел что боты идут с одних и тех же подсетей, с IPv6, в юзер-агенте есть YaSearchBrowser и у всех пустой реферер.

Блокнул пока таким образом:


Нужно выставлять именно блокировку, потому-что любые капчи они проходят.

AS num Откуда боты прут:

AS45027 INETTECH-AS
AS50113 SUPERSERVERSDATACENTER
AS209641 I-SERVERS-EAST
AS34665 PINDC-AS

Может кому полезно будет.

Мастер спорта по спорту.
M3
На сайте с 09.02.2022
Offline
43
#577
GasTarbols #:
AS45027 INETTECH-AS
AS50113 SUPERSERVERSDATACENTER
AS209641 I-SERVERS-EAST
AS34665 PINDC-AS

проверил у себя AS45027, действительно много ботов, но так же и живые люди есть, которые печатают текст и голосуют)
имхо не вариант всю  ASN провайдера банить
остальные еще не смотрел..

GasTarbols
На сайте с 14.12.2007
Offline
151
#578
master32 #:

проверил у себя AS45027, действительно много ботов, но так же и живые люди есть, которые печатают текст и голосуют)
имхо не вариант всю  ASN провайдера банить
остальные еще не смотрел..

Вот поэтому мой пример выше он объединяет 4 правила: человек приходит со "спамной" AS num, при этом имеет пустой реферер, яндекс бразуер в юзер агенте и с IPv6.
AR
На сайте с 14.05.2005
Offline
151
#579

Интересное явление! Просто ахтунг!
Свято верил, что у меня на сайте на рекламу кликают боты (которые прямые заходы), особенно на полноэкранную. Заблокировал этих ботов с пустыми реферерами через Cloudflare и теперь у меня вместо 15% CTR полноэкранного блока не упал, а вообще подрос до 43%! Не бывало ли у вас такого?! Ужас... убрал вообще полноэкранку "от греха"...

ps

И еще интересное наблюдение... может тут уже обращали на это внимание, не знаю, не все 57 страниц прочел. 
Похоже, что ботный траф так или иначе фильтруется счетчиком РСЯ. У меня на некоторых сайтах почти 50% прямых ботных заходов. Метика их показывает... а вот счетчик "ПИ2", тот который автоматом создается при размещении объявлений РСЯ, прямого трафа показывает в 10 раз меньше.

S
На сайте с 12.10.2012
Offline
208
#580
TheVS #:
Все заблокированные прямые заходы и заходы по несуществующим ссылкам заменяются заходами с Яндекса, которые без его участия невозможно распознать.
Как я это понял? Есть сайт с учебными материалами по специфичной технике, которой 15-20 лет, на данный момент она совершенно точно не используется из-за устаревания и отсутствия расходников. Т.е. вероятность того, что ее будут искать по точным запросам нулевой. Таких страниц десятки, за месяц они набирают сотни переходов с Яндекса. Если отключить все блокировки, то отлично видно, что бот делает прямой заход на такую никому не нужную страницу, а через несколько десятков секунд на нее следует заход с поиска по вполне осмысленному запросу, причем в половине случаев из сетей, которые в массовом спаме не замечены.
Т.е. даже думая, что вы все очистили может оказаться, что ботов у вас больше, чем реальных людей.
Я протестировал cf почти на 20 сайтах, и в моем случае стандартные методы не помогли ни разу. Хоть какой-то эффект есть на молодых сайтах с низкими показателями, на сайтах старше 10 лет заходящих с Яндекса ботов минимум 20%. На вышеупомянутом сайте по устаревшей технике стабильно больше 90%, хотя внешне кажется, что около 0. Интересно, что Яндекс метрика видит, что это боты, но ничего с этим не делает.

Бред... Вы хотите сказать, что на 20 сайтах, после блокировки-фильтрации прямых заходов, это количество ушло в переходы с поиска Яндекса?

У меня на одном из сайтов до установки CF, прямых заходов было по количеству столько же сколько с поиска и так на протяжении нескольких месяцев. После фильтрации через CF, прямые ушли, остался только трафик из поиска.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий