Нужно забанить ботов htaccess

Правила проверяются просмотром логов.

А остальные вопросы не важные да?

Каких логов?! Логи чего? Не nginx случаем?

Если правило из старт-поста работает, и там, похоже, что в строке могут применяться базовые регулярки, то можно попробовать

SetEnvIfNoCase User-Agent "*ClaudeBot*" bad_bot
<Limit GET POST HEAD>
    Order Allow,Deny
    Allow from all
    Deny from env=bad_bot
</Limit>

А вообще, если нет косяков в проверке или обработке правила, и проверяется лог тот, что нужно, то вот так списком:

SetEnvIfNoCase User-Agent "ClaudeBot|BLEXBot|SemrushBot|AhrefsBot|MJ12bot|DotBot|SeznamBot|ZoominfoBot|MegaIndex|Exabot|VelenPublicWebCrawler|svetabot|AspiegelBot" bad_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Нашел причину.

У меня на сервере все сайты в одной папке - www

таким образом

/www/ site1

/www/site 2

и прямо в папке www находится файл .htaccess, который работает для всех сайтов

Т.е. для каждого сайта есть свой .htaccess в папке сайта и есть общий .htaccess который работает для всех сайтов.

Так удобно, потому что не нужно для каждого сайта отдельно прописывать правило, если оно требуется для группы сайтов.

Так вот, почему-то это правило (например то которое подсказали вначале) в общем файле не срабатывает, а если записать конкретно в .htaccess  сайта, то работает.

Как LEOnidUKG и сказал, утрируя, что чудес не бывает ))

Vitaly2012 , согласись, что ИИ не помог бы. А то ему тут такое некоторые пророчат.

Тема могла бы легко и на 5 страниц форума разрастись )))

Вобщем-то проблема не полностью решена.

Сейчас мне не понятно, почему некоторые правила в htaccess, который является общим для нескольких сайтов, отрабатывают, а некоторые - нет.

Да причин много может быть. Надо смотреть что там и как.

Вот это , например:

https://htmlweb.ru/php/htaccess-mod_rewrite-rewritebase.php

Итак, имеем два файла:

/www/.htaccess
/www/site1/.htaccess

И оба файла содержат правила mod_rewrite.
По умолчанию будут использованы правила mod_rewrite только из /www/site1/.htaccess

Для настройки наследования и порядка объединения правил есть отдельная директива RewriteOptions