Сути вообще не понял. А что там в роботс есть такого, что поможет пройти?
Я сам сути не понял. Это ботоводы гордятся что они открывают роботс и якобы обходят все проверки и блокировки.
Но по сути да, многие сайты просто открывают robots. Ботоводы решили выгуливать ботов с посещением сайта через robots?
В общем не спрашивай меня, что там в нездоровой голове ботовода. 😁
Так ты обходишь https://searchengines.guru/ru/forum/1112671 открывая robots? 😂
Это связано с user agent.
У ботов или кривых браузеров на смартфонах вместо модели в user agent пишется undefined.
В общем сейчас много таких стало появляться, это явно не норма.
Пробуй Full, если соскакивает то Flexible cтавь.
Проверь грузят ли иконку сайта. Просто вот те на скриншоте твоем вместо загрузки иконки сайта делали повторный запрос по урл. Ботовод трафик экономил так. 😀
На моем гс'нике блоки рся отображаются только для трафика из поиска, а эти гады оттуда лезут и кликают куда не надо, уже минус 50к к обычному доходу, без капчи теперь никак не обойтись.
По IP банить если только или капчу ставить, но новые появляются.
Сайт не ддосят, в день заходят 600-800 ботов.
Я снизил немного их количество т.е. не даю по ref зайти с сайтов. А в общем ничего уже не делаю, трафик от них ботным не определяется.
Пока новый год и мне борьба эта уже надоела. У меня сайт в принципе не проваливается от них.
Зачем тебе капча вообще если судя по тому, что тебе льют возможно не загружают скрипты или иконку сайта.
А меня другая история с ботами, подозрение на модифицированный Mirai.
Нету ответа в теме, если учитывать что tls 1.3 и ech уже отключены
https://searchengines.guru/ru/forum/1106215/page52#comment_17072998
