А не думали что это боты CloudFlare?
Помимо Битерики в бан можно еще:
AS25159 SONICDUO-AS, по этой сетке точно погорячился, тут оказывается больше 4000 IP.
Сегодня боты поперли с этой сетки - AS208677 SBERCLOUD-AS, там походу какие то крутые прокси, т.к много проходит через Managed Challenge.
Правильно понимаю, что в текущее первое правило Allow white bot можно просто добавить строку с двумя этими AS Num?
Спрашивал кажется в другом топике, но не получил ответа.
Можно как-то переносить правила в CF с одного сайта на другой?
Или только набивать для каждой площадки по новой?
да, тоже столкнулся с тем что Allow для Known bots не работает для некоторых ботов Яндекса, пришлось вручную прописать AS Num. Через Юзер агенты не стал делать как советовали выше, ибо многие подделывают его.
Вот еще кстати
Куки, сессия, фингерпринт и т.д. Вы же не вводите каждый раз пароль на форуме или в веб-почте. Хотя, если вы думаете, что смена ip как-то это ломает, то вы не совсем в курсе как это работает. Метрика висит на огромнейшем количестве сайтов, фактически, при желании, выполняющая для вас сквозную "авторизацию" в рамках десятков или сотен тысяч сайтов, запоминая, где вы были и какие действия выполняли. Исполняемый JS на сайте - это вообще солидные возможности, особенно в рамках таких объемов как у Метрики.
В гугле не придумали как реализовать и использовать фингерпринт? Право, вы шутник )
Если в браузере не сохраняются куки или юзер при заходе на сайт не соглашается с обработкой куки? Прочитайте подробнее про фингерпринт. В метрике не собираются mac адреса и другие параметры железа, а все остальные параметры у тысяч устройств могут быть одинаковыми. Или может вы что то больше знаете про фингерпринт?
Исполняемый JS на сайте - это вообще солидные возможности, особенно в рамках таких объемов как у Метрики.
Поделитесь какими возможностями JS можно отличить бота от юзера?
Можно заблокировать по вхождению словосочетания utm_campaign, utm_content или utm_term=bncxeek.
Как отличить 10к чел с одинаковыми телефонами, браузером и версией ОС, которые заходят на сайт, если у них периодически меняется IP адрес? В гугле скорее всего еще не придумали как можно такое реализовать, поэтому и не используют ПФ так сильно при ранжировании.
Кстати, кто-то обращал внимание, что причиной высокой роботности не всегда являются прямые заходы?
Живой пример: сайт с трафом из ПС - 73%, прямые - 11%. Есть еще переходы по рекламе - 12%. Видимо то же боты.
Так вот, в метрике роботность у данного сайта - 50%. И видимо CF в данном случае не помощник...
Я заметил, что из ПС много ботов идут из сайджеста (т.е клику по поисковой подсказке из поисковой строки) и в отчетах такие переходы не имеют ключевого слова и схлопываются в одну строку.
Возможно есть способ определять откуда пришел визит из поиска или из сайджеста?
С такими переходами конечно у Яндекса больше возможностей определять бот или юзер, например если ищет в инкогнито или нет истории поиска, то можно капчу давать. Ботоводу в любом случае тяжелее.
