Как я повысил доход в РСЯ на 112%

запрещать надо не в robots, а через .htaccess или настройки сервера, так как robots - это лишь рекомендация, а не реальный запрет.

Ну я же так и сказал или забыл? Используйте на свое усмотрение.... 

.htaccess  - это для не серьезных наплывов, он жрет ресурсы... но в большинстве случаев поможет конечно. 

Учитесь работать с iptables и более глубокими настройками сервера...   robots хорош для отсева плохой/хороший бот..  Хороший понюхает и отойдет.  То есть учитесь работать и с логами и конфигами сервера.

Вы написали

User-agent: x22Mozilla
Disallow:/
User-agent: xpymep1.exe
Disallow:/
User-agent: zauba.io
Disallow:/

а этот код действителен только для robots.txt

Через пару месяцев список будет длиннее... И так до бесконечности.

Конфиги - ИИ, посты - ИИ... А кто-то ведь всерьез все это воспринимает и, наверняка, пытается реализовать 😀

Понятно, но надо бороться.  Обратил внимание на юзерагенты HeadlessChrome и HeyTap, в дни когда они массово валят с отказами ближе к 100% идет просадка по доходу.  Залочил - все вернулось в норму.  В основном идут с Cox Communications...   

Они мне load average до 38 в пике поднимали в течение пары часов, сервант чуть не упал, но выдержал...  каждое новое соединение - новый ip четко по списку...  их там море.  Заходят 300-2000 в секунду.   На обычном хостинге сайт упадет за 5 секунд. 

Паранойя - современный бич поколения Z в интрернетах.  

Это можно считать просто куском автоматически сформированного txt ... каждая ситуация разбирается уже ручками и принимаются решения на месте.   

В общем и целом мой кейс таков, что чем больше я старался на своём сайте блокировать ботов, недругов и прочая, тем больше становились показания метрики по роботности, и порой такой траф доходил до половины от общего числа посетителей. Какое-то время назад я очистил файл robots.txt, разрешив всех агентов, а также очистил от блокировок файл .htaccess. В результате ботность меньше 5%, траф подрос.

Сайт информационник. 

Видимо блокировал не ботов, а обычных юзеров.  Ботов при правильной настойке за1% не выходит. 

Бота можно определить только по совокупности улик, но никак не просто по юзер агенту (ии боты их могут менять налету).  Это и отказы и движение мышки и скорость реакции - все учитывается.  Можно вообще очистить все блокировки и трафик по счетчику вырастет в 5 раз, только это не люди, а яков очень быстро найдет паттерны ботов и выпишет три красивые буквы...  И это будет не ЛЕС  🤣 

Хотя... БАН и ЛЕС где-то рядом...   насчет robots уже говорил, что это только для честных ботов исполняющих то, что в нем прописано, но таких все меньше и даже гугл частенько забивать стал. 

Более идиотского стёба от ТСа, я еще не видел 🤣🤣🤣