Нужно забанить ботов htaccess

1 234
LEOnidUKG
На сайте с 25.11.2006
Offline
1727
#21
Vitaly2012 #:

Вобщем-то проблема не полностью решена.

Сейчас мне не понятно, почему некоторые правила в htaccess, который является общим для нескольких сайтов, отрабатывают, а некоторые - нет.

Проблема в том, что эти правила надо прописывать на nginx, ДО апатча и тогда будет всем счастье.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
Алеандр
На сайте с 08.12.2010
Offline
184
#22
LEOnidUKG #:

Проблема в том, что эти правила надо прописывать на nginx, ДО апатча и тогда будет всем счастье.

Так не у всех есть доступ к nginx, на хостингах, например, правила можно применить только в htaccess.
P
На сайте с 29.03.2024
Offline
3
#23

этот вобще жоский

ClaudeBot

а на  nginx это нужно в  nginx.conf что то добавить?

LEOnidUKG
На сайте с 25.11.2006
Offline
1727
#24
Алеандр #:
Так не у всех есть доступ к nginx, на хостингах, например, правила можно применить только в htaccess.

У ТС явно не виртуальный хостинг.

LEOnidUKG
На сайте с 25.11.2006
Offline
1727
#25
promx #:

этот вобще жоский

ClaudeBot

а на  nginx это нужно в  nginx.conf что то добавить?

создаём файл: block_bots.conf

содержание:

if ($http_user_agent ~* (Mail.RU_Bot|Applebot|ClaudeBot|GeedoBot|keys-so-bot|GPTBot|Bytespider|Amazonbot|proximic|bingbot|Sogou|rogerbot|mj12bot|majestic|ahrefs|semrushbot|beekport|archiver|teleport|megaindex|baiduspider|linkpadbot|yahoo|msnbot|bingpreview|dotbot|uptimerobot|psbot|serpstatbot|gigabot|alphabot|aspiegelbot|xforce-security|semantic-visions|barkrowler|admantx|GetIntent|CriteoBot|BLEXBot|python-requests|PetalBot|seostar|zgrab|Go-http-client|CensysInspect|paloaltonetworks|SiteAnalyzerbot|dataforseo|Pinterestbot|applebot|CCBot|Photon|weborama-fetcher|GeedoProductSearch|Spawning-AI|netEstate|Dataprovider) ) {

return 444;

}

Если ISPmanger  в папку:

/etc/nginx/vhosts-includes/

Если Fastpanel в папку:

/etc/nginx/fastpanel2-includes/

У кого свои конфиги, то правила должны быть в разделе 

server {


V2
На сайте с 05.01.2012
Offline
116
#26
jkm #:
Итак, имеем два файла:

/www/.htaccess
/www/site1/.htaccess

И оба файла содержат правила mod_rewrite.
По умолчанию будут использованы правила mod_rewrite только из /www/site1/.htaccess

Для настройки наследования и порядка объединения правил есть отдельная директива RewriteOptions

Я так и не понял, что нужно прописать и где, чтобы mod_rewrite из /www/.htaccess работал для всех /www/site1/ /www/site2/?

Вот например deny from IP из верхнего  .htaccess работает и так

LEOnidUKG
На сайте с 25.11.2006
Offline
1727
#27
Vitaly2012 #:

Я так и не понял, что нужно прописать и где, чтобы mod_rewrite из /www/.htaccess работал для всех /www/site1/ /www/site2/?

Вот например deny from IP из верхнего  .htaccess работает и так

Гугл вы тоже забанили у себя?


Допустим, вы желаете унаследовать все правила из родительского каталога и добавить к ним несколько новых — для этого вам понадобится директива RewriteOptions, которая допускает только один фиксированный аргумент. Таким образом, в файл .htaccess вы должны записать ваши новые правила и две директивы: «RewriteEngine on» и «RewriteOptions inherit».

Claw.ru: Все для вебмастера и оптимизатора. Всё для учебы, работы и отдыха. Продвижение сайта. Заработок с сайта. Партнерские программы. Учебники.
V2
На сайте с 05.01.2012
Offline
116
#28

При чем тут Гугл, не понял?

«RewriteOptions inherit» нужно прописать в /www/.htaccess или в /www/site1/.htaccess ?

Или можно прописать в httpd.conf?

J
На сайте с 20.02.2014
Offline
120
jkm
#29
Vitaly2012 #:

Вот например deny from IP из верхнего  .htaccess работает и так

Работает ровно до тех пор, пока где-то ниже уровнем не встретися другой набор правил deny/allow.
Как только в /www/site1/.htaccess будут свои правила deny/allow, то набор правил deny/allow из /www/.htaccess перестанет работать.
С mod_rewrite всё аналогично.
В /www/site1/.htaccess уже есть какие-то RewriteRule для вашей CMS, так что из /www/.htaccess правила RewriteRule работать не будут.

Добавление RewriteOptions в /www/.htaccess будет влиять на все дочерние папки.

Например:

/www/.htaccess
/www/site1/.htaccess
/www/site1/folder/.htaccess

Во всех есть свои RewriteRule. Если был запрос к /folder/, то будут объединены правила из всех трёх файлов.
Правила в /www/site1/.htaccess и /www/site1/folder/.htaccess могут быть не расчитаны на такую совместную работу и возможен конфликт правил.

V2
На сайте с 05.01.2012
Offline
116
#30

jkm, спасибо.

Прописал в верхний .htaccess RewriteOptions Inherit и все заработало.

Думаю может его в httpd.conf прописать?

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий