.htaccess и боты. как правильно заблокировать? понимаю, что тема избитая, но то, что в инете - не помогает :-(

White Devil · 2024-12-13T14:16:14.0000000Z

Добрый день. Понимаю, что тема избитая, но то, что находил в инете не спасало от нашествия. Вот так сейчас выглядит .htaccess ErrorDocument 404 / 404 .html RewriteEngine On RewriteBase / RewriteCond %{HTTPS} =off RewriteRule ^ https: //%{HTTP_HOST}%{REQUEST_URI} [R,L] RewriteRule ^/?([^/]+)/([^/]+)/(\d+)$ /index.php?param=$ 3 [L] AddType application/x-httpd-php .html .php .xml .txt Php_Flag display_errors Off Php_Value short_open_tag Off Добавлял в него RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} ^SemrushBot RewriteRule ^.* - [F,L] не помогало. Так же добавлял <IfModule mod_setenvif.c> <IfModule mod_headers.c> SetEnvIfNoCase User-Agent "^SemrushBot/7~bl" bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bot </Limit> </IfModule> </IfModule> такой же результат :-( По логам "Mozilla/5.0 (compatible; SemrushBot/7~bl; + http://www.semrush.com/bot.html )" продолжает сканировать сайт. Как можно правильно заблокировать его и другие боты?

118

White Devil

13 декабря 2024, 16:00

#11

LEOnidUKG #:
Массово:

Похоже отработало. Убрал лишнее, оставив только два особо надоедливых. По логам им 403 теперь выдает

Маркетинг для шоколадной фабрики. На 34% выше средний чек

VK приобрела 70% в структуре компании-разработчика red_mad_robot

.htaccess и боты. как правильно заблокировать? понимаю, что тема избитая, но то, что в инете - не помогает :-(