Форум Сайтостроение Веб-строительство

Блокировка плохих ботов в .htaccess

D5
На сайте с 01.02.2009
Offline
157
dokker555
5470

Приветствую!

Подскажите, пожалуйста, какой вариант лучше использовать для блокировки ботов в .htaccess и почему?

1. SetEnvIfNoCase User-Agent "ahrefs" bad_bot

SetEnvIfNoCase User-Agent "msnbot" bad_bot

<Limit GET POST HEAD>

order allow,deny

allow from all

deny from env=bad_bot

</Limit>

2. RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} (ahrefs|msnbot) [NC]

RewriteRule .* - [R=403,L]

Как я понял, оба варианта отдадут ботам 403 ошибку, т.е. доступ запрещен?

G-and-Y
На сайте с 29.06.2013
Offline
156
G-and-Y
#1

Лучше в iptables, но если это хостинг то любой вариант, и помните что бот может зайти под другим юзер агентом. У меня жестко ходил MJ12bot забанил пару десятков подсетей ип и юзер агент.

Абузо-устойчивые впс в Нидерландах от 5$/мес (https://cp.inferno.name/aff.php?aff=2991)
keys-so-bot Яндекс ддосит сайт. Что Как часто гугл меняет
LM
На сайте с 18.10.2009
Offline
117
LinuxMan
#2

Нет смысла заморачиваться с такими блокировками. Достаточно добавить в robots.txt запрет. 

User-agent: MJ12bot

Disallow: /

https://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Мне это когда-то помогло. Теперь в обязательном порядке для каждого нового сайта прописываю. :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий