Боты заходящие через прямые заходы и определяющиеся в метрике как люди

Проверил свой список IP (xxx заменил на 0 и проверил ip в xseo.in) - 90% это сети мегафона, остальное мтс/йота и прочие провайдеры интернета. Полагаю мобильные операторы это простой способ получить дополнительный внешний ip для ботоводов. Метрика, скорее всего, их не сможет отсеять, так как с этих же ip наверняка иногда ходят и реальные посетители.

Вот тут https://vc.ru/seo/203524-nakrutki-povedencheskih-faktorov-put-v-top-ili-v-ban автор, вроде в теме, и он тоже пишет про нашествие ботов из сетей мегафона:

"Аномальный рост трафика из «паленых» подсетей. Настоящей легендой рунета за 2020-й стали прокси Metropolitan branch of OJSC MegaFon."

Так что похоже это очень старая "тема", живет минимум 3 года и решения у нее все еще нет. А если тема живет, значит скорее всего хоть частично работает (владельцам сайтов этой ветки в минус, ботоводам в плюс), остается надеяться что массовое использование возможно эту тему и добьет.

У меня аномальный рост ботов практически на всех сайтах начался в ноябре 2022, просмотрел многие темы про ботов, создал много тем про ботов, отправлял кучу примеров в Яндекс Вебмастер, Метрику, Роману из яндекса тут на сайте. Думал, тогда, что ботов вот-вот пофиксят и это какая то аномалия.

Но теперь придерживаюсь мнения, что спасение утопающих - дело рук самих утопающих! Яндекс эту проблему откровенно игнорирует, поэтому бороться с ботами на сайте должен сам вебмастер.

Тут много "персонажей" доказывают с пеной у рта, то, что с ботами никак бороться не нужно и на ранжирование вашего сайта прогревающие боты не влияют. Но это все сознательное введение в заблуждение, т.к после нагона ботов на сайт, за 1-2 недели позиции все в хлам улетают. Пишут они такое потому, что сами зарабатывают на накрутках.

Если хотя бы 50% вебмастеров начнут хоть как то бороться с ботами (прятать метрику, шифровать ее код, показывать только после определенных действий, блокировать спам по рефереру и тд), то работы у ботоводов в десятки раз прибавится.

Раз Яндекс на протяжении нескольких лет никак с ботами не боролся, то после реорганизации и подавно ничего делать не будут, им сейчас самое главное, что существующие сервисы работать не перестали (на мой субъективный взгляд, за последние пол года все у них стало работать через ж.пу, а как кинули клиентов из Яндекс телефонии, вообще отдельная тема). Так, что остается вебмастерам придумать более-менее универсальное решение, которое создаст дополнительную нагрузку накрутчикам, удорожая их работу.

У меня метрики в коде html страницы не было, она подгружалась в отдельном скрипте, причем малость модифицированном. Как её спрячешь если она делает прямой запрос к  https://mc.yandex.ru/watch/{ID сайта} при загрузке любой страницы? Скорее всего софт ботоводов для первичного парсинга ID метрики заходит на страницу и смотрит на какой url отправляется отчет. Получается как-то там шифровать сам id сайта в метрике бесполезно, максимум можно отложить загрузку метрики на 20-40 секунд, отсеяв из отчетов навсегда часть реального трафика с малым временем на странице.

У Вас сайт не зарегистрирован в Метрике или она просто стоит не на всех страницах?

Если второе, то не очень понятна причина. Как минимум, такой подход создаёт простор для описанных Вами злоупотреблений.

Хостинг и услуги из корпоративного сегмента.

Аналогично.

Можно блокировать подсети обеих компаний.

Метрика подгружается в отдельном js скрипте, скрипт в свою очередь подгружается на всех html страницах. Просто в предложении sagamorr шифровать и прятать метрику была бы логика, если бы id счетчика для дальнейшего спама ботами брался из html сайта, но если боты анализируют запросы выполненые внутренними js скриптами сайта - то спрятать метрику невозможно.

Да быть того не может. 

В соседних ветках обсуждают как крутят ПФ через мобильные прокси, а тут такие откровения :)

Продолжайте блочить IP и прочих

Это по видимому новый метод мазахизма - не умеешь крутить ПФ - будешь блочить IP

Меньше ваших сайтов - быстрее мои в топе будут :))

Самое оптимальное решение для борьбы с ботами (на мой взгляд), которые идут по прямым заходам - установка cloudflare и отправка директ трафика на проверку Managed Challenge.

У меня большинство ботов выкосило таким способом.

это выкашивает около 60% ботов, тупо потому что это тратит время бота и он не успевает остальное загрузить. но этот процент постоянно падает, все что нужно боту это настроить его чтоб при виде страницы проверки он подождал чуть больше, в остальном клаудфлар не считает этих ботов ботами.