Можете попробовать на таких страницах прописать:
<meta name="robots" content="noindex, nofollow">
Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Не забыв про гуглбота из америки. Ну и еаропейские датацентры и впн траф оттуда тоже не желательно банииь.
В данном случаи мы говорим конкретно о тех, кто не нужен:
Вьетнам, Бразилия, Бангладеш, Индия, Аргентина, Мексика, Ирак, Пакистан
Я уже много раз писал про программу Caesium Image Compressor, ТС увидел моё сообщение и сразу побежал УРА создавать топик.
Вот только к WP это никак не относится ВООБЩЕ. Там свои плагины существуют для оптимизации и служат они для загружаемых данных в динамике постоянного наполнения сайта. А программа нужна для массовой оптимизации, фотографий и других элементов дизайна. Плюс там есть обрезка, условия уменьшения и т.д.
Я ХЗ как можно связать ПК программу и WP, как это сделал ТС.
Это ОЧЕНЬ сложно людям понять. Я не знаю почему.
Я всегда даю пример на коробках и обстановки квартиры:
Чтобы обставить квартиру (чтобы ваш сайт имел вид):
1. Вам привозят коробки с товаром
2. Коробки с мебелью и т.д. надо распаковать
3. Надо мебель собрать
4. Надо расставить мебель и другую мелочь
Вроде всё просто, НО у всех почему-то зацикливается мозг на первом пункте. Дальше ничего не существует и главная цель получше упаковать коробку на сервере и все будут "счастливы".
Учитывая, что Яндекс + Гугл дают 53870 запросов, остальные просто погрешность.
Здесь надо с сайтом разбираться, почему нагрузка. Что за запросы? Что запрашивают? Есть ли кэш плагин? А он точно отрабатывает? Может быть есть куча других вредных запросов и с ботами этими не связанные?
Тонны разных сервисов. Чем тот который умер лучше других?
Вообще пользуйтесь локальным Caesium - Image Compressor и не нужны никакие сервисы. Никаких ограничений.
