А почему вы не запрещаете всех ботов?

Да при чем тут вредоносные-то? Я же выше писал, о каких ботах речь веду. Помимо ботов ПС по сайтам ходит еще большая куча совершенно мусорных ботов.

Если кто-то маскируется под гугл или яндекс его просто обратной проверкой доменного имени достаточно легко определить. Но я не про вредоносов.

Блочить обычные краулеры и оставлять вредоносные, которые создают в разы большую нагрузку?

Роботс ничего не запрещает, еще раз, он рекомендует, это то же самое что на заборе написать и рассчитывать, что бот послушает.

Вам объяснили что не понимаете и почему роботс не подходит.

Искренняя Вам благодарность, Антоний!
Если я правильно Вас понял, директиву для блокировки ботов можно использовать...

Всегда пожалуйста 😉

ПС явно себя указывают. С примерами имён ботов, например, Яндекса можно ознакомиться здесь.

Только что проверил корректность работы директивы, эмулировав действия одного из ботов, перечисленного в перечне.
https://www.wannabrowser.net/

Значит работает. Теперь принудительно подставьте имена ботов ПС для доп. проверки.

Bing Bot 2.0 отдаёт 403 Forbidden.

Получается, что бот ПС Бинга будет заблокирован...

Уберите из своего списка bingbot - и не будет заблокирован. Да и вообще в этот список лучше вносить то, что ходит по сайту, но бесполезное и мешается, а не бездумно пользоваться чужим списком. Ибо 50% из того, что в списке, вероятнее всего, никогда не были у Вас на сайте и не будут, а вот то, что в списке не указано, будет продолжать шариться по сайту. Опять-таки возвращаемся к банальной схеме: вручную анализируем логи и выясняем, какие присутствующие в посещениях user-agent нам не нужны - вносим их в этот список.

Если Вас не затруднит, не могли бы Вы перечислить боты, которых необходимо оставить в списке?

Заранее Вам благодарен!

Уже убрал...