а кто это?
почему то в известные боты CF он не попадает... и доходит до самого последнего правила по IPv6
AS15169 лучше специально в исключения не добавляйте, т.к боты бывают идут с этой сетки. Это можно посмотреть в WAF->Events. Там всякий спам параметрах запроса к серверу.
Такие визиты CF блокирует, а нормальных ботов гугл пропускает. Возможно у них белый список гугла не по AS сети сделан, а собраны IP или диапазоны IP.
Т.е. разрешить всем мусорным ботам, которые косят под Яндекс и гугл, спокойно ходить по сайту?
100% ботам реклама показывается и они на нее кликают.
Особенно в кампаниях на ретаргетинг, там весь этот мусор с прямых заходов сохраняется и им уже откручивают рекламу.
У меня был пример до установки CF, что в компании на ретаргетинг 90% кликов было из Тулы (хотя регион вся Россия). Я очень удивился и долго общался с поддержкой Яндекс, они конечно же ничего аномально не нашли.
Потом после настройки CF наткнулся на такую спам сеть AS52207 TULA-AS и все сразу встало на свои места.
От этого Яндекс не торопится боротся с ботами. С одной стороны качество выдачи становится не релевантным из-за накрутчиков, а с другой стороны боты - это значительная часть дохода от Директа.
1) 8402 - PJSC "Vimpelcom" (количество IP4 - 2,252,808)
2) 25513 - ASN-MGTS-USPD (количество IP4 - 466,432)
3) 42610 - NCNET-AS (количество IP4 - 523,264)
Подскажите, пожалуйста, есть ли какой-то ПРОСТОЙ и НАДЁЖНЫЙ способ сопоставить название IP-сети из веб-визора с ASN, чтобы заблокировать/ограничить эту сеть в CF? И чтобы этим ASN не ограничивать лишние адреса?
Блокируйте в CF спам сети только на прямые заходы.
Искать AS сеть по IP можно через сервис - https://asnlookup.com
А чего его смотреть. Простой код на php, если refferer пустой и нет в user_agent "google" или "yandex" - код метрики просто не вставляется на страницу. Сегодня ночью попробую новый эксперимент - распространю данное правило по другим сайтам, которые есть в РСЯ, чтобы вызывался код рекламы таким по такому условию, посмотрю, как повлияет на показатели в РСЯ подобное.
Получается у вас прямых заходов вообще не будет в Метрике.
Ну если совсем тупой Яндекс - может подумать и так, а если заметит (если у него хоть как-то работают в сторону сравнения алгоритмы), что именно этих посетителей не пускает не только один сайт, а множество, то вполне может сделать правильные выводы.
Не берусь судить на сколько они тупые😁
Но такой эксперимент лучше делать на сайте, который не жалко, т.к риск в любом случае есть.
Так в этом и фишка. Даже если на уровне сервера по таблицам роботы какой-то сети будут отбиваться, ходить многие из них (уже прогретые) не перестанут, потому что вполне продолжат выполнять свою функцию - возврат к выдаче, чтобы продолжить прогулку и потом остаться на прогоняемом сайте надолго. Просто их не будет на сайте. Да даже если их запускать на сайт, а просто не отдавать визиты в метрику такие и не показывать рекламу РСЯ и Адсенс - возможно (не точно, конечно) хоть какой-то толк будет.
Попробуйте, напишите потом.
Я как то ради эксперимента ставил попап форму, ботов отрезало полностью.
Единственная еще проблема - нормально исключения настроить, чтобы нужных ботов не отрезать.
P.S. Вот еще один момент. Через CF можно фильтровать только прямые заходы, а тут "под удар" пойдет весь трафик.
И как например Яндекс будет оценивать визиты ботов, которые перешли на ваш сайт из поиска, а в метрику данные не подгрузились.
Получается по логике яндекса сайт не доступен. Учитывая, что ботов они не могут отличить от слова совсем, то я думаю это скорее негативно на ПФ сайта повлияет.
