Пытаюсь закрыть сайт от нескольких ботов

343

art11

24 сентября 2013, 12:33

1221

В .htaccess прописал:

RewriteEngine On
RewriteBase /
SetEnvIfNoCase User-Agent "^$" bad_bot
SetEnvIfNoCase User-Agent "^SearchBot" bad_bot
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "^Googlebot" bad_bot

<Limit GET POST HEAD>
Order Allow,Deny
allow from all
deny from env=bad_bot
</Limit>

Но почему-то боты не блокируются. Что не так?

reg.datatex.ru (reg.datatex.ru) - регистрация доменов .RU по 120 руб (reg.datatex.ru)

1217

Mik Foxi

24 сентября 2013, 12:37

#1

тут есть другой пример. работает точно )

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/

343

art11

24 сентября 2013, 13:00

#2

Не нашел там никакого примера, подходящего для меня.

1217

Mik Foxi

24 сентября 2013, 13:48

#3

## Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

я про это.

A

130

admak

24 сентября 2013, 13:55

#4

другой вариант, т.е.


RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SolomonoBot|SearchBot|MJ12bot) [NC]
RewriteRule .* - [F,L]

.............

343

art11

25 сентября 2013, 05:44

#5

что такое [OR] и [NC]?

S2

7

strannik201325

25 сентября 2013, 05:52

#6

Это логические операции. Пригодятся - сделай как здесь написано.

---------- Добавлено 25.09.2013 в 09:53 ----------

art11:
что такое [OR] и [NC]?

это логические операции. Сделай как написано, должно исправить ситуацию.

A

130

admak

25 сентября 2013, 05:53

#7

art11:
что такое [OR] и [NC]?

если в условии несколько строк, то их объединяют OR - "или" по русски.

если ничего не указать, то условие будет проверятся как "и"

NC - не учитывать регистр.

Дзен реализовал для авторов возможность вывода денег через СПБ

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ