Форум Сайтостроение Веб-строительство

Не получается забанить Ahrefs бота по юзерагенту

J
На сайте с 23.09.2010
Offline
87
Joober
4094

Вопрос насчет бана Ahrefs бота и других товарищей, которые создают лишнюю нагрузку на сайт.

В логах отражается так: (compatible; AhrefsBot/4.0; +хттп://ahrefs.com/robot/)

В конце файла .htaccess добавляю следующие строки:

SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Не помогает.

Пробовал без знака “^”, вот так:

SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Тоже не помогает.

Где-то в синтаксисе ошибка или еще что-то?

A
На сайте с 23.03.2003
Offline
82
Aramis
#1

а почему пытаетесь забанить именно через htaccess ? Они же вроде корректно выполняют robots.txt

SEOQuake Team SEOQuake (http://seoquake.com/), SEMRush (http://semrush.com/)
iren K
На сайте с 28.12.2008
Offline
222
iren K
#2

можете либо так еще попробовать


RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC]

RewriteRule ^(.*)$ - [F] 

# 

RewriteCond %{HTTP_USER_AGENT} ^MozillA.* [NC,OR] 

RewriteCond %{HTTP_USER_AGENT} ^OperA.* [NC,OR] 

RewriteCond %{HTTP_USER_AGENT} ^Firefox.* [NC,OR] 

RewriteCond %{HTTP_USER_AGENT} ^Netscape.* [NC] 

RewriteRule ^(.*)$ - [L] 

RewriteRule ^(.*)$ - [F]

либо через роботс(думаю малоэффективно):

user-agent: AhrefsBot

disallow: /

c уважением Iren
J
На сайте с 23.09.2010
Offline
87
Joober
#3

Спасибо за совет. Но, вроде бы разобрался. Такая конструкция все-таки работает:

SetEnvIfNoCase User-Agent "ahrefs" bad_bot

<Limit GET POST HEAD>
order allow,deny
allow from all
deny from env=bad_bot
</Limit>

Я не туда смотрел – думал, что забаненные боты будут отображаться только в логах ошибок, а не в основных. Не заметил, что они идут с 403 ошибкой. Только вот, если я правильно понял, получается, что и смысла у подобного запрета особого нет, т.к. боты продолжают простукивать сайт, все равно создавая нагрузку, даже не получив доступа к страницам.

maldivec
На сайте с 04.11.2008
Offline
160
maldivec
#4
Joober:
Только вот, если я правильно понял, получается, что и смысла у подобного запрета особого нет, т.к. боты продолжают простукивать сайт, все равно создавая нагрузку, даже не получив доступа к страницам.

Не правильно поняли. Они получают заглушку хостинга с 403 ошибкой, простой html файлик обычно, а ваш сайт (скрипты и БД) не трогают.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий