проверил у себя AS45027, действительно много ботов, но так же и живые люди есть, которые печатают текст и голосуют)имхо не вариант всю ASN провайдера банитьостальные еще не смотрел..
Прямые заходы или внутренние переходы?
Сейчас это прямые заходы.
Отвечая на свой же вопрос: увидел что боты идут с одних и тех же подсетей, с IPv6, в юзер-агенте есть YaSearchBrowser и у всех пустой реферер.
Блокнул пока таким образом:
Нужно выставлять именно блокировку, потому-что любые капчи они проходят.
AS num Откуда боты прут:
AS45027 INETTECH-ASAS50113 SUPERSERVERSDATACENTERAS209641 I-SERVERS-EASTAS34665 PINDC-AS
Может кому полезно будет.
Увидел что все боты прут на конкретные внутренние страницы, в итоге забанил их в CF, если приходят с пустым реферером (реальных юзеров там почти нет). Несколько дней продержалось, а сегодня боты стали приходить просто на главную страницу без реферера и капчу CF они легко проходят. Эта ситуация примерно на 5 разных сайтах. Есть советы?
Список айпишников наверное нет смысла составлять, обычно каждый такой заход - с нового.Краснодарские боты - это скорее всего AS 12389 ROSTELECOM-AS (угадал?).Я ростелекомовским подсовывал капчу, судя по отчету процент фильтрации был хороший, пролазило не так много.Проверить можно здесьhttps://db-ip.com/
Вот оно и странно, что cloudflare показывает что отдал им капчу, а они её спокойно проходят.С указанной вами AS прёт большинство, есть ещё AS25490 STC-AS PJSC Rostelecom Krasnodar с неё тоже прёт, но меньше.
Пока блокнул по пустому рефереру и переходу на конкретную страницу (они почему-то все её как точку входа используют), результат отличный, но пока не ясно куда дальше.
Это совсем бан или нет? Раньше никогда с банами в РСЯ не сталкивался. Роботность 5%. Вроде Громов говорил, что ничего в таких случаях делать не нужно, т.к. "умные алгоритмы" сами всё распознают.
Поймите, Яндекс с его ресурсами и возможностями легко бы разобрался с ботами и отфильтровал их, если бы захотел.
покажите метрику не за год а за последние несколько месяцев. как там с прямыми заходами?
Всё также примерно, 70% поискового трафа:
Но я понимаю ваш вопрос, у меня один сайт выкинули тоже в тот момент, когда прямого трафика стало в 2 раза больше чем поискового.
В принципе, по ответу техподдержки стало понятно, что сайт забанили потому-что есть какие-то мутные критерии оценки, которые они не могут озвучить. А чтобы не объяснять пишут: за недействительные клики и показы. Ведь по факту любой сайт можно притянуть к этому нарушению.
Подписываюсь под вопросом, как ботов то банить без ущерба другим посетителям сайта, чтобы не пришлось каждому капчу разгадывать? Вчера писал в техподдержку, но ответы общие, без конкретики.
Вчера выкинули сайт, где 70% поискового трафа. Сайт не большой, но по аналогии могут и крупные сайты также выкинуть (метрика за год):
