Визиты умных ботов и падение позиций в Яндекс

У нас на одном из сайтов Linguee Bot хулиганил, банили через htaccess и писали им самим чтобы вырубили сайт из рассылки.

Я смотрю, в последнее время тема становится всё актуальнее. У меня похожая картина, с 3-го числа началась бомбежка, в первый день было 2000 прямых заходов на главную. Я подключил сервис BotGuard, другого варианта для себя не нашел, поскольку слабо разбираюсь в технической части. Процентов 90-95 сервис отсеивает, это факт. Хотя небольшая часть этой гадости все же прорывается, но уже не в состоянии испортить ПФ.

🤣🤣🤣 Вот он рыцарь в доспехах и виновник создания топика.

Мне тоже нагоняли 2 дня траф. Обычно было 100 в сутки, в те дни почти по 500юзеров/ботов нагнали.

Прошла неделя. Полет нормальный, траф не упал.

Я не рискнул забивать. Метрика показывает эти заходы как юзеров с Андроида. Пытаюсь разобраться с логами, но пока это для меня - тьма кромешная. Да, и заходят с разных IP, со всего мира - Бразилия, Мексика и прочие Гондурасы...откуда в жизни трафика не было.

Sergio Suares, забыл уточнить, у меня метрика определила их как "ботность".

Интересно. А где это написано?

А что мешает в метрике отрубить учет статистики ботов?

Там есть в каком то отчете "ботность".

---------- Добавлено 18.01.2019 в 01:44 ----------

По умолчанию в метрике отрубается.

Я сталкивался, только с двумя поправками:

1) Максимальный трафик ботов в день был около миллиона хитов.

2) Боты были всех мастей и страстей.

А ну да - и по времени эта канитель длится годами с переменным успехом.

Для начала любыми способами найдите статистику которая позволяет группировать пользователей по сессиям, хитам и выводит IP-адреса.

Я начинал с того, что отсекал ботов с одной сессией и большим числом хитов. Они сидели в дата-центрах.

Тут по соседству есть скрипт который блочит 20 с чем-то тысяч IP и подсетей всех ЦОД-ов мира. Это можно делать и руками, заблокировав 10-20 крупных дата-центров.

Этот шаг помогает против ботов СИЛЬНО.

Теперь по php скрипту - тестирую его второй день.

Мое мнение - это вторая линия обороны, ограничение http/2 включать нельзя - толку нет, а юзеры не доходят. Скажем так, процентов 30 от оставшихся он отсекает.

Но те что вас беспокоят, остаются и останутся, потому что скрипт довольно-таки простенький, он от парсеров, а не от вредителей.

Попробуйте поставить задержку на счетчик метрики рандомом, это добавит хаоса.

Вообще попробуйте поработать в направлении вывода метрики по каким-то правилам, которые позволяют вам понять, что перед вами робот, а не человек.

Если закупаете трафик - попробуйте задействовать UTM метки чтобы показывать счетчики тем, за кого вы заплатили. Правда, среди кликающих около 30% ботов.

И кстати, крепко подумайте над тем, чтобы по возможности закрыть свой сайт от Украины.