fordzon

Нет, агент не может накрутить метрику. Я зря на него подумал.  Просто не понял сам, почему вдруг так, почему боты..

Агент же всегда один работает, просто в разные времена у меня они разные были на сайте, от дорогих до тех, что подешевле. 
Сначала в программе Cursor, где можно контролировать написанные им коды, там можно выбирать и режимы его работы, как советчика консультанта,  так и Агента-кодера.
В программе RUFP, агент всё делает сам, за ним следить тяжелее. Сын помогал со своим дорогим профессиональным агентом...

Который из всех накосячил, что позволило ботам листать несуществующие страницы и получать 200, пока не понял.  Да и винить никого не хочу. Решить нужно эту проблему и запустить рекламу. Наблюдаю пока. 

Ходят, перебирают страницы с несуществующими числовыми Get-переменными, типа ?artycle=12345 получают ответ 200 и пофик им что там noindex и написано, что нет такой страницы. Просто ищут что-то.
Это косяк агентов, которые обновляли мне движок. Вот там и надо было им выдавать 404 или 403 вместо noindex.
Старый движок я сам писал, такого не допускал изначально. Нет страницы, значит 404.

Несколько часов работы сайта с блокировкой ботов в htaccess снизало роботность до 20-40%. Почасовой режим выставил, можно отслеживать каждый час. Но это не выход, нужно перекрывать лазейки в движке.

Так антибот посетителям капчу выдаст.  А это всегда неприятный момент. Или как?

Да, понятно теперь, откуда боты. Агент тоже уже понял, что роботс им не указ. 
Написал мне, что антибота пока рано ставить, отпугнёт посетителей.  Попробует пободаться с ними.

Пишет сейчас  для них блокировки в htaccess, посмотрим, что получится...

Спасибо, парни, за понимание и участие!

Агент AI не виноват. Подключил его к решению проблемы, включил ему логи на сайте, он посмотрел, отчитался...

Amazonbot, Reflectionbot, LinkupBot, TokenFoundryBot, SEO-краулеры и другие...  сейчас это 71 % всего трафика — за 40 минут ночью 3395 запросов с 3674 разными адресами, до 200 запросов в минуту. Самое важное: часть этих роботов маскируется под Chrome и умеет исполнять JavaScript — на каждой открытой странице у них срабатывает счётчик Метрики. Метрика честно считает такие визиты роботами — отсюда 60-80 % роботности. Для РСЯ это выглядит как бот-трафик на сайте, твоё решение выключить рекламу до разбора — правильное.

.......................... В общем выяснил причину их активности, написал пока им правила в robots.txt в надежде на их порядочность..............................

Чего ждать. Не мгновенно: роботы перечитывают robots.txt по своим расписаниям, нагрузка начнёт спадать в ближайшие дни, роботность в Метрике — за несколько дней после этого. РСЯ советую не включать, пока роботность не вернётся к привычным единицам процентов.

Да, типа того. Сын установил мне в помощь. Видит, как я мучаюсь кодами. Он программист в IT компании работает, сам пользуется, но какими-то дорогими.
RUFP Desktop - это ярлык на рабочем столе. 2 тыс. руб в месяц это минимальный тариф у меня, для пенсионера годится..
Роботность постепенно снижается, сейчас 58%. 
Сегодня не включал его совсем.

Остановил показы рекламы на сайте. До прояснения ситуации.

Если честно, у меня паника. Готов вообще остановить рекламу, пока не разберусь с роботностью.
Роботность похоже влияет лишь на метрику, но в РСЯ похоже не учитывается. Посещаемость возросла, получается, вместе с роботностью, на заработок это не влияет. Как была медленная тенденция к уменьшению, так и осталась.

Сегодня не включал агента и вообще прогу не включал эту со вчерашнего вечера. За сегодня роботность 68%. У агента нет никаких заданий, почему так?

Роботность возросла с 16 октября, до этого было ноль. Меньше месяца.  Ещё всё впереди. 
Видимо, нужно отключать Агента. Совсем.
Ведь даже в дни, где я не включал эту программу с агентом, всё равно фиксируется роботность.