А может заблокировать всю cеть IP-адресов по которым отказы более 99%?

12
R
На сайте с 18.10.2019
Offline
2
916

Сервер Ubuntu. На нем работают пара десятков сайтов. Основной источник трафика - переходы из поисковых систем (99%).

Процент отказа по ним 30-40%.

Все бы хорошо, но в последнее время наблюдаю неистовый интерес ко многим сайтам на сервере со стороны неких устройств: судя по Яндекс метрике осуществляются прямые заходы на мой сайт продолжительностью 0 сек. Соответственно в вебвизоре такие посещения помечаются как недоступные к просмотру.

Доходит до того, что доля таких визитов в общей массе превышает половину всех заходов на сайт.

Далее график посетителей (только прямые заходы на сайт):

График отказов (прямые заходы):

В итоге ухудшаются показатели "среднее время на сайте", "средняя глубина просмотра", возможно еще какие-то.

Хотя я сомневаюсь, большой процент отказов по прямым заходам, скажется на трафик из поиска (я надеюсь яндекс и Гугл различают эти два вида трафика при ранжировании сайта).

Далее я выявил IP-адреса, с которых происходят такие "плохие" визиты:

116.203.104.*

116.203.115.*

116.203.24.*

116.203.78.*

116.203.79.*

116.203.99.*

79.137.130.*

89.208.198.*

89.208.198.*

89.208.199.*

89.208.84.*

89.208.85.*

89.208.86.*

89.208.87.*

Сервис xseo.in/ips говорит от том, что это следующие товарищи(Информация GEOIP/IPGEO):

DE(Germany) Hetzner Online GmbH

RU(Russia) Mrgroup Investments Limited

RU(Russia) St Petersburg Limited liability company Mail.Ru

Проследил параметры визитов с этих IP-адресов. Обнаружил, что userAgent-ы по ним очень часто меняются (и маскируются под обычных пользователей). Поэтому фильтрация по userAgent - невозможна.

Теперь возник вопрос: А может просто забанить все эти подсети? Толку-то от них? Только создают дополнительную нагрузку на сервер. И портят общую картину посещаемости сайтов.

Странно, что яндекс метрика считает эти визиты на сайт пользовательскими...

P.S. Дополнительно фильтрую запросы от таких ботов как MegaIndex, MJ12bot, SemrushBot и прочих по их userAgent на уровне apache, благо они не скрываются и прописывают открыто себя в этих параметрах.

scarletpaint
На сайте с 28.12.2018
Offline
11
#1

Почему бы и нет, если это паразитный траф?

https://www.youtube.com/watch?v=rzAipCZNv9I (https://www.youtube.com/watch?v=rzAipCZNv9I)
Glueon
На сайте с 26.07.2013
Offline
172
#2

Если с мейл.ру нет большого трафика (поиск, пульс и пр.), то я бы забанил все три сетки :) Если с мейл.ру что-то есть, то можно только первые две.

Только я не думаю, что все это приведет к резкому росту позиций. Ботов сейчас дикое количество - от экспериментаторов с ПФ, которые пытаются себе поисковые профили "накрутить", до различных парсеров.

Есть много IP-сетей в аренду под прокси, парсинг, рассылки (optin), vpn и хостинг. Телега: @contactroot ⚒ ContactRoot команда опытных сисадминов (/ru/forum/861038), свой LIR: сдаем в аренду сети IPv4/v6 (/ru/forum/1012475).
V
На сайте с 16.08.2016
Offline
31
#3

Появилась такая мысль:

может спец. страничку для такого рода трафика нужно? Ну типа нажмите здесь / клик по рекламе :) для продолжения? И только потом пускать?

Дело в том, что я тоже часто сижу с hetzner-овского ip, так у моего провайдера половина нужного мне инета не работает.

Ну т.е. может это какие прокси, которыми могут и обычные люди ппользоваться?

UP:

> так у моего провайдера

так как у моего провайдера

500₽ для теста VPS (http://ver2.ru/s/500)
donc
На сайте с 16.01.2007
Offline
644
#4
ruport:
DE(Germany) Hetzner Online GmbH

Hetzner с каких пор провайдер в РФ? Это хостер. все заходы с хостингов можно и нужно банить, это боты.

А на этом SEO-форуме поиск работает ( http://webimho.ru/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
Glueon
На сайте с 26.07.2013
Offline
172
#5
vickodin:
Появилась такая мысль:
может спец. страничку для такого рода трафика нужно? Ну типа нажмите здесь / клик по рекламе :) для продолжения? И только потом пускать?

Дело в том, что я тоже часто сижу с hetzner-овского ip, так у моего провайдера половина нужного мне инета не работает.

Ну т.е. может это какие прокси, которыми могут и обычные люди ппользоваться?

Нужно экономику обсчитывать этого мероприятия, какой процент аудитории составляет такой трафик, анализировать поведение (есть ли кто-то, кто ведет себя нормально), смотритеть были ли клики или лиды (какая там монетизация). На моем опыте даже на крупных сайтах можно было смело блокировать весь тор-трафик (хотя под тором сидит множество обычных людей, я в том числе).

Если звезды так совпали, что этот трафик ценный и терять его не хочется, то можно отдавать js, который проверяет трафик по cookie или ставит капчу, по мотивам решений антидос-сервисов (cloudflare и пр). При этом при желании все эти проверки все равно можно обойти (пример). Но стоит ли оно все того? Проще тогда вообще ничего не блокировать, до тех пор пока весь этот трафик не начинает хост нагружать чрезмерно.

donc
На сайте с 16.01.2007
Offline
644
#6

Glueon, Я лет 7 уже как всех этих паразитов заблокировал.

Корневой htaccess приличный получился. Минусов не вижу, просадок по полезному трафику нет, хостер перестал слать письма счастья... Боты перестали долбиться в админ панели, которых нет :) Попыток спама ощутимо меньше стало. Раньше в спам карму за неделю сотни две наносили всякой дряни, сейчас годами там не чищу, мало.

А на ТОР-ах все равно одни халявщики сидят и хацкеры, толку от них ноль. Приличным людям скрывать свой IP незачем.

[Удален]
#7
donc:
все заходы с хостингов можно и нужно банить, это боты.

А может там впн.

donc
На сайте с 16.01.2007
Offline
644
#8
Miha Kuzmin (KMY):
А может там впн.

Я фильтровал не все подряд, а по анализу логов. Вижу много запросов с одного хостера - в бан. Сначала конечно разошелся, гугля забанил. Потом каждый случай стал рассматривать индивидуально.

Ну заодно пол Украины забанил - но она мне лично не нужна. Задолбали оттуда обращениями к wp-admin.

юни
На сайте с 01.11.2005
Offline
867
#9
donc:
Корневой htaccess приличный получился

В студию? 10 ботов.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит, https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS
R
На сайте с 18.10.2019
Offline
2
#10
Glueon:
Если с мейл.ру нет большого трафика (поиск, пульс и пр.), то я бы забанил все три сетки :) Если с мейл.ру что-то есть, то можно только первые две.

Дело в том, что этот "мейл.ру" меняет userAgent как перчатки и не указывает в нем, что он мейлру. Есть отдельные заходы мейлру на мой сайт и они подписаны в userAgent как положено.

Мне думается, что метрика анализирует userAgent и если видит по нему, что это поисковик (яндекс, гугл или тот же мейл) то в статистику метрики такие заходы вообще не заносятся.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий