С 29-го марта резко выросла роботность на сайте (было 6% в среднем, стало около 20% в среднем и до 50-60% в отдельные часы). Причем, это не закладочный трафик, а фиксируются переходы с конкретных сайтов, в основном с длительностью 15 сек.
Все переходы идут только на главную страницу. Если в предыдущие пару дней такой наплыв всегда начинался в 18.00 и заканчивался в 24.00, то сегодня прут с восьми утра, метрика фиксирует ботность 60% и выше, чего раньше никогда не было.
Собственно вопрос: чего с этим делать и можно ли чего-то сделать своими силами, без установки всяких антиботов? Можно ли как-то через htaccess временно заблокировать переходы на главную по URL сайта-источника перехода? То есть сделать запрет доступа на главную с конкретных сайтов.
С конкретных сайтов возможно, но бесполезно, т.к они подменяют сайт в запросе и сайтов могут быть тясячи, замучаетесь банить.
Через CF думаю возможно по вхождению доменной зоны в запрос их определять и на проверку пускать.
А не думали что это боты CloudFlare?
Помимо Битерики в бан можно еще:
AS25159 SONICDUO-AS, по этой сетке точно погорячился, тут оказывается больше 4000 IP.
Сегодня боты поперли с этой сетки - AS208677 SBERCLOUD-AS, там походу какие то крутые прокси, т.к много проходит через Managed Challenge.
Правильно понимаю, что в текущее первое правило Allow white bot можно просто добавить строку с двумя этими AS Num?
Спрашивал кажется в другом топике, но не получил ответа.
Можно как-то переносить правила в CF с одного сайта на другой?
Или только набивать для каждой площадки по новой?
да, тоже столкнулся с тем что Allow для Known bots не работает для некоторых ботов Яндекса, пришлось вручную прописать AS Num. Через Юзер агенты не стал делать как советовали выше, ибо многие подделывают его.
Вот еще кстати
Куки, сессия, фингерпринт и т.д. Вы же не вводите каждый раз пароль на форуме или в веб-почте. Хотя, если вы думаете, что смена ip как-то это ломает, то вы не совсем в курсе как это работает. Метрика висит на огромнейшем количестве сайтов, фактически, при желании, выполняющая для вас сквозную "авторизацию" в рамках десятков или сотен тысяч сайтов, запоминая, где вы были и какие действия выполняли. Исполняемый JS на сайте - это вообще солидные возможности, особенно в рамках таких объемов как у Метрики.
В гугле не придумали как реализовать и использовать фингерпринт? Право, вы шутник )
Если в браузере не сохраняются куки или юзер при заходе на сайт не соглашается с обработкой куки? Прочитайте подробнее про фингерпринт. В метрике не собираются mac адреса и другие параметры железа, а все остальные параметры у тысяч устройств могут быть одинаковыми. Или может вы что то больше знаете про фингерпринт?
Исполняемый JS на сайте - это вообще солидные возможности, особенно в рамках таких объемов как у Метрики.
Поделитесь какими возможностями JS можно отличить бота от юзера?
Можно заблокировать по вхождению словосочетания utm_campaign, utm_content или utm_term=bncxeek.
Как отличить 10к чел с одинаковыми телефонами, браузером и версией ОС, которые заходят на сайт, если у них периодически меняется IP адрес? В гугле скорее всего еще не придумали как можно такое реализовать, поэтому и не используют ПФ так сильно при ранжировании.
