Борьба с роботностью

Всем доброго дня! Продолжаю разбираться с роботностью на сайте, она от 40 %. Было еще больше.

Постепенно, шаг за шагом разбираюсь в проблеме.

Через nignix один знакомый программист заблокировал некоторых роботов, строчка выглядит так:

server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) {
return 403;

Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.

Любопытно, что хостер firstvds еще раньше добавил файл в конфигурацию сервера:  /etc/nginx/vhosts-includes/badbot.conf, где указал if ($http_user_agent ~* (meta-externalagent|meta-webindexer|GPTBotClaudeBot)) { return 410;  и пишет, что можно туда всех ботов отправить.

Следующий шаг: опубликовал на FL.ru задачу снизить роботность. И здесь пошел шквал предложений. Один специалист пишет, что сделает следующее:

1. Белый список Яндекса и Google по обратному DNS: поисковых роботов не затронет ни одно правило.

2. Невидимую проверку браузера на адреса из пунктов 2 и 4 и на заходы без реферера. Человек её не заметит и ничего не вводит, бот без браузера не пройдёт.

3. Исправлю подстановку адресов, чтобы IP брался только от доверенного прокси.

4. Подсети и повадки из логов, как 202.46.62.0/24, закрою отдельными правилами.

5. В Метрике сделаю сегмент без роботов и через неделю сверю прямые заходы, отказы, роботность и поисковый трафик. Если что-то просядет, откачу правило.

Как думаете, что из этого реально и имеет смысл?