да, тоже столкнулся с тем что Allow для Known bots не работает для некоторых ботов Яндекса, пришлось вручную прописать AS Num. Через Юзер агенты не стал делать как советовали выше, ибо многие подделывают его.
Вот еще кстати
Куки, сессия, фингерпринт и т.д. Вы же не вводите каждый раз пароль на форуме или в веб-почте. Хотя, если вы думаете, что смена ip как-то это ломает, то вы не совсем в курсе как это работает. Метрика висит на огромнейшем количестве сайтов, фактически, при желании, выполняющая для вас сквозную "авторизацию" в рамках десятков или сотен тысяч сайтов, запоминая, где вы были и какие действия выполняли. Исполняемый JS на сайте - это вообще солидные возможности, особенно в рамках таких объемов как у Метрики.
В гугле не придумали как реализовать и использовать фингерпринт? Право, вы шутник )
Если в браузере не сохраняются куки или юзер при заходе на сайт не соглашается с обработкой куки? Прочитайте подробнее про фингерпринт. В метрике не собираются mac адреса и другие параметры железа, а все остальные параметры у тысяч устройств могут быть одинаковыми. Или может вы что то больше знаете про фингерпринт?
Исполняемый JS на сайте - это вообще солидные возможности, особенно в рамках таких объемов как у Метрики.
Поделитесь какими возможностями JS можно отличить бота от юзера?
Можно заблокировать по вхождению словосочетания utm_campaign, utm_content или utm_term=bncxeek.
Как отличить 10к чел с одинаковыми телефонами, браузером и версией ОС, которые заходят на сайт, если у них периодически меняется IP адрес? В гугле скорее всего еще не придумали как можно такое реализовать, поэтому и не используют ПФ так сильно при ранжировании.
Кстати, кто-то обращал внимание, что причиной высокой роботности не всегда являются прямые заходы?
Живой пример: сайт с трафом из ПС - 73%, прямые - 11%. Есть еще переходы по рекламе - 12%. Видимо то же боты.
Так вот, в метрике роботность у данного сайта - 50%. И видимо CF в данном случае не помощник...
Я заметил, что из ПС много ботов идут из сайджеста (т.е клику по поисковой подсказке из поисковой строки) и в отчетах такие переходы не имеют ключевого слова и схлопываются в одну строку.
Возможно есть способ определять откуда пришел визит из поиска или из сайджеста?
С такими переходами конечно у Яндекса больше возможностей определять бот или юзер, например если ищет в инкогнито или нет истории поиска, то можно капчу давать. Ботоводу в любом случае тяжелее.
Если в динамике смотреть - да.Сайт все время развивается.Т.е., тот объем информации, который сейчас есть на сайте может охватить до 1к в сутки (это просто наблюдение, которое я вывел исходя из статистических данных, которые я собираю каждый день).
Остальное влияние ботов на сайт я собираю и сделаю для себя вывод через год: на сколько влияют, как, что происходит со страницами, позициями, ключами, сайтом в целом и т.д.Пока рано говорить об аховом влиянии ботов на сайт. Кстати, ранее я утверждал, что боты вообще ни на что не влияют, сейчас же, я пересмотрел это мнение: влияют. Как? - будет видно позже.
не надо давать такие советы, многие повторят не думая. а потом если это клиентский сайт на эти регионы, то можно и по голове от клиента схватить за бан целевого целого региона 😀 так баловаться щедро баня целыми региональными провайдерами можно на своем некоммерческом сайте, где не важно есть траф или нету.
Я перед тем как отрубать, посмотрел логи за неделю, на мои сайты с этим сетей только боты идут, не меньше чем с битерики.
Так у меня 3 первых правила настроены по этому гайду. Bad Crawler тоже прописывал, но за несколько дней был показатель был 0 - убрал.
Битерика прописана в .htaccess
Помимо Битерики в бан можно еще:
Откройте вебвизор и ищите в нем спамные переходы по ссылкам. Посмотрите время визита в вебвизоре и после этого ищите в Event такое событие с этим временем.
Раскрывайте кликом события, там будут параметры запроса. Спамный домен по идеи должен быть в параметре Query string. Если все так, то сюда выложите, либо мне в ЛС скиньте 2-3 примера таких запросов.
Кто такие настройки-то дал? Зачем ipv6 ломятся на сайт? Почему битерика не в бане?
Вот тут норм настройки
https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov
Остальное уже можно руками чистить и в бан по asn или стране.
Это с этой статьи такие настройки.
Правда IPV6 я отключил, т.к бывает ловит тех, кто через vpn сидит.
