Рост роботности в Метрике

Те которые как пользователи по скрипту посещают одинаковые страницы и только их, имея User Agent как у человека. Раньше с Японии таких много было, щас особо не слежу.

Все IP, которые я видел у ботов Google, всегда относились к US. О какой Японии может идти речь? )

Сейчас примерно такое:

И я не говорю что это айпи гугл бота, но эти посещения из AS 15169 (Google), как это работает мне неизвестно, но посещения на одинаковые страницы.

Пример: 

1. 2001:4860:7:227::ff

   58
2. 2001:4860:7:227::fe

   57
3. 2001:4860:7:627::f0

   38
4. 2001:4860:7:227::f7

   38
5. 2001:4860:7:627::fb

   33
6. 2001:4860:7:627::ea

   28

Во всяком случае, код выше радикально режет вообще все utm метки (я их не использую, и я их просто отрезал), если нужно отрезать какие-то конкретные, то надо дорабатывать код, можно через .htaccess отрезать конкретные фрагменты utm.
Так же, товарищ выше показал как отрезать такие переходы через CF.

В любом случае, нужно детально смотреть их кол-во и периоды обходов. У меня на сайтах от гугла боты идут каждый раз в одно и то же время, на одни и те же страницы.
У Яндекса IP разброс больше и он вообще без какой-либо системы заходит, или я ее еще не увидел.

Но ни там, ни там у меня нет переходов от хороших ботов по utm, что и делает такие запросы - подозрительными.

Реферер-то подделать можно любой, но вот гугловский айпишник - такого пока не встречал )

Я спросил у хостера как это сделать, потому что сам не особо шарю, получил ответ, что это вне их компетенции. Может вы подскажете, как блочить переходы, например, где есть только запись "utm_source=yandex-direct". Либо блочить только при наличии записи "utm_source", но не блочить при наличии "utm_referrer".

Есть небольшой бесплатный скрипт PFAntibot. Там реализован как раз тот алгоритм, который вы хотите.

Ну. Почти. Доступ Ботам блокируется не к сайту, а к счетчику Метрики. Но результат аналогичен - ботов становится меньше.

В настройке указываете подозрительные URI, типа  "utm_source=yandex-direct", и все посетители с такими URI для метрики становятся невидимы.

Или как вариант. К нежелательным посетителям можно применить санкции. Но это не обязательно.

К стати. Это мой скрипт. Если чё не понятно с настройками - подскажу. 

<IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteCond %{QUERY_STRING} utm_source=yandex-direct [NC]
    RewriteRule ^(.*)$ - [F,L]
</IfModule>

Этот код проверяет, содержится ли параметр utm_source=yandex-direct в строке запроса (QUERY_STRING), и если это так, то отклоняет запрос с кодом HTTP 403 (Forbidden). Заметьте, что для использования этих правил ваш сервер должен поддерживать модуль mod_rewrite.

Если вы хотите блокировать только те запросы, которые содержат параметр "utm_source", но при этом не блокировать запросы с параметром "utm_referrer", то вы можете использовать следующий код в файле .htaccess:

<IfModule mod_rewrite.c>
    RewriteEngine On
    RewriteCond %{QUERY_STRING} utm_source=yandex-direct [NC]
    RewriteCond %{QUERY_STRING} !utm_referrer [NC]
    RewriteRule ^(.*)$ - [F,L]
</IfModule>

Этот код проверяет, содержится ли параметр "utm_source=yandex-direct" в строке запроса (QUERY_STRING), и также проверяет, что параметр "utm_referrer" не присутствует. Если оба условия выполняются, то запрос отклоняется с кодом HTTP 403 (Forbidden).

P.S Весь ответ сгенерирован ChatGPT под Ваши запросы (не пользуюсь .htaccess). Пробуйте.

Что-то я сам не додумался так сделать ) Спасибо!

Подскажите стоит ли блокировать бота DotBot ? Запись из журнала:

186.2.167.4 - - [11/Jan/2024:17:47:52 +0300] "GET /robots.txt HTTP/1.1" 499 0 "-" "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

Айпи бота от DDOS Guard, мой сайт подключен к их сервису

Я последние пол года вообше начал откл ИП6, норм трафа от туда с гулькин нос, 99% это всякие боты, спамеры, сканеры уязвимостей и прочие вредители.