.htaccess и боты. как правильно заблокировать? понимаю, что тема избитая, но то, что в инете - не помогает :-(

12
WD
На сайте с 16.09.2009
Offline
118
552

Добрый день.

Понимаю, что тема избитая, но то, что находил в инете не спасало от нашествия. Вот так сейчас выглядит .htaccess

ErrorDocument 404 /404.html

RewriteEngine On
RewriteBase /
RewriteCond %{HTTPS} =off
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R,L]
RewriteRule ^/?([^/]+)/([^/]+)/(\d+)$ /index.php?param=$3 [L]

AddType application/x-httpd-php .html .php .xml .txt
Php_Flag display_errors Off
Php_Value short_open_tag Off

Добавлял в него

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SemrushBot
RewriteRule ^.* - [F,L]

не помогало. Так же добавлял

<IfModule mod_setenvif.c>
<IfModule mod_headers.c>

SetEnvIfNoCase User-Agent "^SemrushBot/7~bl" bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bot
</Limit>
</IfModule>
</IfModule>

такой же результат :-( По логам "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)" продолжает сканировать сайт.

Как можно правильно заблокировать его и другие боты?

Виктор Горняков
На сайте с 25.09.2006
Offline
175
#1

Попробуй так:

ErrorDocument 404 /404.html
RewriteEngine On
RewriteBase /

RewriteCond %{HTTPS} =off
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]


RewriteCond %{HTTP_USER_AGENT} ^MJ12bot$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^SemrushBot/7~bl$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^YandexBot$ [NC,OR]
RewriteRule .* - [F,L]


RewriteRule ^/?([^/]+)/([^/]+)/(\d+)$ /index.php?param=$3 [L]


AddType application/x-httpd-php .html .php .xml .txt
Php_Flag display_errors Off
Php_Value short_open_tag Off
МСК серверы: VPS (VDS) CPU: ОТ 1 ЯДРА/RAM: ОТ 1024MB/SSD: ОТ 10 GB/+ МЕСТО ПОД БЭКАПЫ/IPV4: 1 ШТ от 104 ₽ в мес ---> https://bit.ly/qwartaru
WD
На сайте с 16.09.2009
Offline
118
#2

Виктор Горняков #:

Попробуй так:

Forbidden

You don't have permission to access this resource.

И блокировать бот яндекса - это жестко

Genius Ideaing
На сайте с 12.02.2024
Offline
71
#3
White Devil :
Понимаю, что тема избитая, но то, что находил в инете не спасало от нашествия.

от ботов надо спасаться не через .htaccess, а через CloudFlare

вам мощности хостинга может не хватить отбиваться от ботов через обработчик nginx/apache

не думаю что вы оплачиваете супер пупер мощный vps/vds, чтобы отбиваться от ботов за счет использования ресурсов cpu/озу своего сервера

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Мощный хостинг: https://clck.ru/3DKmVu / Есть Идеи! Ищу хороших людей для реализации этих идей! Мой Telegram: https://clck.ru/396JFF
ranking factor
На сайте с 01.12.2017
Offline
172
#4
White Devil #:

И блокировать бот яндекса - это жестко

Что заслужил, то и получил. Последняя стата из поисковой аналитики за 4 месяца по рунету, 76% ботов из яндекса, 18% боты накрутчиков ПФ, остальные 6% - это "случайные" боты

WD
На сайте с 16.09.2009
Offline
118
#5
Genius Ideaing #:
не думаю что вы оплачиваете супер пупер мощный vps/vds

физический выделенный сервер с 32 гигами оперативы. 

Брался в сове время под другие инет проекты, но сейчас для других задач испоьлзуется. Сайты это только часть этих задач

Genius Ideaing
На сайте с 12.02.2024
Offline
71
#6
White Devil #:

физический выделенный сервер с 32 гигами оперативы. 

Брался в сове время под другие инет проекты, но сейчас для других задач испоьлзуется. Сайты это только часть этих задач

блин , и при этом вы не владеете языком mod_rewrite?

друг, это очень круто!

перейдите если позволяет нагрузка на сайт на вебхостинг и вам в хороших хостинг компаниях помогут сисадмины значительно быстрее настроить .htaccess, чем здесь

WD
На сайте с 16.09.2009
Offline
118
#7
Genius Ideaing #:

перейдите если позволяет нагрузка на сайт на вебхостинг и вам в хороших хостинг компаниях помогут сисадмины значительно быстрее настроить .htaccess, чем здесь

у меня база одного из ПО Windows -  350 гигов. Поэтому и выделенный сервер. 

файловый архив только одного из сайтов - 45 гигов.

Genius Ideaing
На сайте с 12.02.2024
Offline
71
#8
White Devil #:

у меня база одного из ПО Windows -  350 гигов. Поэтому и выделенный сервер. 

файловый архив только одного из сайтов - 45 гигов.

ну. тогда только самому видимо коптеть над mod_rewrite

я сам не большой любитель и знаток этого синтаксиса.. его какой то изувер придумал ... как по мне язык программирования и его синтаксис должен быть приближен к естественному родному языку, на худой конец к английскому... так уж сложилось языку международного общения... к таким вот Pascal относится... 

попробуйте у ИИ спросить... о том что вам нужно.. но без допила не заработает... увы, железяка ИИ - это вообще не человекоподобный разум даже близко... 

WD
На сайте с 16.09.2009
Offline
118
#9
Genius Ideaing #:
я сам не большой любитель и знаток этого синтаксиса.. его какой то изувер придумал ... как по мне язык программирования и его синтаксис должен быть приближен к естественному родному языку, на худой конец к английскому... так уж сложилось языку международного общения... к таким вот Pascal относится... 

вот поэтому и мучаюсь. сейчас SemrushBot по диапазону IP забанил, благо маска /24. Но есть один бот с USER-AGENT "Go-http-client/1.1" - он из подсети ростелекома с маской /16. То есть по диапазону банить чревато. И он постоянно ломится на одну и ту же страницу. Что он в ней такое нашел - не понимаю...

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#10

Массово:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} (HybridBot|Mail.RU_Bot|ClaudeBot|GeedoBot|keys-so-bot|GPTBot|Bytespider|Amazonbot|proximic|bingbot|Sogou|rogerbot|mj12bot|majestic|ahrefs|semrushbot|beekport|archiver|teleport|megaindex|baiduspider|linkpadbot|yahoo|msnbot|bingpreview|dotbot|psbot|serpstatbot|gigabot|alphabot|aspiegelbot|xforce-security|semantic-visions|barkrowler|admantx|GetIntent|CriteoBot|BLEXBot|python-requests|PetalBot|seostar|zgrab|Go-http-client|CensysInspect|paloaltonetworks|SiteAnalyzerbot|dataforseo|Pinterestbot|applebot|CCBot|NBot/|Photon|weborama-fetcher|GeedoProductSearch|Spawning-AI|netEstate|Dataprovider|facebookexternalhit|meta-externalagent|ImagesiftBot|InternetMeasurement|OAI-SearchBot|SeekportBot|Scrapy) [NC]

RewriteRule ^ – [F]


✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий