А может заблокировать всю cеть IP-адресов по которым отказы более 99%?

Почему бы и нет, если это паразитный траф?

Если с мейл.ру нет большого трафика (поиск, пульс и пр.), то я бы забанил все три сетки :) Если с мейл.ру что-то есть, то можно только первые две.

Только я не думаю, что все это приведет к резкому росту позиций. Ботов сейчас дикое количество - от экспериментаторов с ПФ, которые пытаются себе поисковые профили "накрутить", до различных парсеров.

Появилась такая мысль:

может спец. страничку для такого рода трафика нужно? Ну типа нажмите здесь / клик по рекламе :) для продолжения? И только потом пускать?

Дело в том, что я тоже часто сижу с hetzner-овского ip, так у моего провайдера половина нужного мне инета не работает.

Ну т.е. может это какие прокси, которыми могут и обычные люди ппользоваться?

UP:

> так у моего провайдера

так как у моего провайдера

Hetzner с каких пор провайдер в РФ? Это хостер. все заходы с хостингов можно и нужно банить, это боты.

Нужно экономику обсчитывать этого мероприятия, какой процент аудитории составляет такой трафик, анализировать поведение (есть ли кто-то, кто ведет себя нормально), смотритеть были ли клики или лиды (какая там монетизация). На моем опыте даже на крупных сайтах можно было смело блокировать весь тор-трафик (хотя под тором сидит множество обычных людей, я в том числе).

Если звезды так совпали, что этот трафик ценный и терять его не хочется, то можно отдавать js, который проверяет трафик по cookie или ставит капчу, по мотивам решений антидос-сервисов (cloudflare и пр). При этом при желании все эти проверки все равно можно обойти (пример). Но стоит ли оно все того? Проще тогда вообще ничего не блокировать, до тех пор пока весь этот трафик не начинает хост нагружать чрезмерно.

Glueon, Я лет 7 уже как всех этих паразитов заблокировал.

Корневой htaccess приличный получился. Минусов не вижу, просадок по полезному трафику нет, хостер перестал слать письма счастья... Боты перестали долбиться в админ панели, которых нет :) Попыток спама ощутимо меньше стало. Раньше в спам карму за неделю сотни две наносили всякой дряни, сейчас годами там не чищу, мало.

А на ТОР-ах все равно одни халявщики сидят и хацкеры, толку от них ноль. Приличным людям скрывать свой IP незачем.

А может там впн.

Я фильтровал не все подряд, а по анализу логов. Вижу много запросов с одного хостера - в бан. Сначала конечно разошелся, гугля забанил. Потом каждый случай стал рассматривать индивидуально.

Ну заодно пол Украины забанил - но она мне лично не нужна. Задолбали оттуда обращениями к wp-admin.

В студию? 10 ботов.

Дело в том, что этот "мейл.ру" меняет userAgent как перчатки и не указывает в нем, что он мейлру. Есть отдельные заходы мейлру на мой сайт и они подписаны в userAgent как положено.

Мне думается, что метрика анализирует userAgent и если видит по нему, что это поисковик (яндекс, гугл или тот же мейл) то в статистику метрики такие заходы вообще не заносятся.