Запрет User-agent

12

Hertry

3 января 2007, 04:16

1381

Что нужно прописать в .htaccess чтобы блокировать доступ Teleport pro, Offline Explorer и т.д. чтобы усложнить процесс скачивания сайта. Знаю, что все эти проги могут маскироватся под бракзеры, но все же. Как правильно это прописать в .htaccess чтобы отпределенному списку юзер агентов был запрещен доступ.

N

16

ntpo

3 января 2007, 04:20

#1

# список ip адресов не допущенных к сайту

order allow,deny

deny from 209.170.122.151

deny from 80.179.128.

deny from 64.140.49.

deny from 200.

allow from all

</Limit>

Подпись не может содержать более 200 знаков, так же как и выделение цветом. ()

H

12

Hertry

3 января 2007, 04:26

#2

ntpo:
# список ip адресов не допущенных к сайту
<Limit GET PUT POST>
order allow,deny
deny from 209.170.122.151
deny from 80.179.128.
deny from 64.140.49.
deny from 200.
allow from all
</Limit>

И чего? Блокировка IP и блокировка по User-agent - это разные вещи

H

12

Hertry

3 января 2007, 04:50

#3

Вот нашел на одном форуме такую тему, скажите, это то?

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} ^Web.Downloader.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^FAST.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^HTTPClient.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^DISCo\Pump.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Drip.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^EirGrabber.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^FlashGet.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetRight.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Gets.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Grafula.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^IBrowse.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^InterGET.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Internet\Ninja.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^JustView.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIDown\tool.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister\PiX.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^NearSite.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetSpider.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\Explorer.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^PageGrabber.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Papa\Foto.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^ReGet.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^SpaceBison.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebAuto.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebCopier.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebFetch.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebReaper.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebSauger.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebWhacker.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZIP.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\Image\Collector.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\Sucker.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Webster.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^eCatch.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^lftp.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^tAkeOut.*

RewriteRule \.(gif|jpg|php|htm|html|shtm|shtml)$ /error.ico.[L]

129

Zlo_606ep

3 января 2007, 07:01

#4

а позвольте небольшой оффтоп, можно ли ботов поисковиков (известных) стопроцентно определить по юзер-агенту и ip, имею в виду, не маскируются ли они другим юзер-агентом или заходят с каких-либо новых неизвестных ранее ip?

Помощь в фильтрации ботов User agent AdsTxtCrawler/1.0.2 Яндекс кобласит

64

dema501

3 января 2007, 07:18

#5

Hertry:
Вот нашел на одном форуме такую тему, скажите, это то?

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Web.Downloader.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^FAST.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTPClient.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo\Pump.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Drip.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Gets.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^IBrowse.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\Ninja.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^JustView.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\tool.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\PiX.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\Explorer.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\Foto.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^SpaceBison.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\Image\Collector.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\Sucker.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Webster.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^lftp.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut.*
RewriteRule \.(gif|jpg|php|htm|html|shtm|shtml)$ /error.ico.[L]

Это то, что тебе нужно только нужно заменить:

RewriteRule .* - [L,F]

ну еще можно добавить curl - помоему так

RewriteCond %{HTTP_USER_AGENT} ^curl.* [OR]

2542

The WishMaster

3 января 2007, 11:33

#6

Гы. Это остановит только чайников и ламеров:)

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)

K

56

ksm

3 января 2007, 12:27

#7

А может сделать ограничение по реферу (например так сделано на narod.ru)?

QAвед-sunтехник

13

chingiz

3 января 2007, 20:28

#8

Zlo_606ep:
а позвольте небольшой оффтоп, можно ли ботов поисковиков (известных) стопроцентно определить по юзер-агенту и ip, имею в виду, не маскируются ли они другим юзер-агентом или заходят с каких-либо новых неизвестных ранее ip?

конечно стопроцентно нет !!!

лично сталкивался !

A

176

alexseo

6 января 2007, 16:45

#9

SetEnvIfNoCase User-Agent "^Teleport Pro" banned

SetEnvIfNoCase User-Agent "^Offline Explorer" banned

order allow,deny

allow from all

deny from env=banned

</Limit>

Курс биткоина превысил $50 тысяч

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта