Запрет поисковых ботов через .htaccess

127

Yamramil

15 января 2010, 06:51

17554

Привет весёлому разделу форума :)

Решил с Вами обсудить такой момент как заперт ненужных роботов через .htaccess.

Думаю, что новичкам тоже будет интересно узнать как можно обезопасить себя от лишних трат и нервов. Более опытных прошу поделится (если есть желание конечно ;)) своими наблюдениями и методами по этому вопросу.

Пришлось этим вопросом заняться так как после прогона одного дора по зарубежным сайтам, прибежал один робот и положил сайт на лопатки своей прытью. После этого решил банить всех левых и не нужных роботов по User-Agent через .htaccess

Для новичков:

Добавляем в .htaccess, лежащий в корне сайта, несколько строчек:

SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "^MSNBot" bad_bot
SetEnvIfNoCase User-Agent "^ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "^Sogou" bad_bot
SetEnvIfNoCase User-Agent "^Exabot" bad_bot
SetEnvIfNoCase User-Agent "^cuil.com" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

Может есть более простые способы избавления от роботов ?

Так же было бы интересно узнать кто еще каких роботов банит у себя :)

Дешевые VDS + лучшая тех. поддержка - тыксь (https://friendhosting.net/pl.php?7150)

S

158

Squadblr

15 января 2010, 07:08

#1

order allow deny

deny from all

allow from 127.0.0.1

:D

66

Shoo[rik]

15 января 2010, 07:09

#2

хм... А не проще через robots.txt оставить только нужных, а остальным вообще запретить доступ?

sorry, что маленько не по теме....

264

Fat Bear

15 января 2010, 07:15

#3

Shoo[rik:
А не проще через robots.txt оставить только нужных, а остальным вообще запретить доступ?

Слишком просто! :)

Нормальные герои всегда идут в обход! ☝ :D

Открыть счёт в Capitalist ( https://capitalist.net/reg?from=e5707ff0c3 ). Виртуальные карты, USDT, банковские переводы, выплаты партнёрских программ. Push-партнёрка с высоким рейтом hClicks(https://hclicks.com/?ref=61dc0714).

HP

175

HruPifPaf

15 января 2010, 07:34

#4

В robots txt можно только правильных роботов блокировать. А многие боты трафик создают, до robots.txt им пофигу.

127

Yamramil

15 января 2010, 07:43

#5

Squadblr:
order allow deny
deny from all
allow from 127.0.0.1
:D

А, что не так ? :)

HruPifPaf:
В robots txt можно только правильных роботов блокировать. А многие боты трафик создают, до robots.txt им пофигу.

Совершенно верно многим на роботс пофигу

D

21

Diverse

15 января 2010, 08:16

#6

Есть еще такой способ

Запрет по USER_AGENT всяких качалок и роботов


RewriteCond %{HTTP_USER_AGENT} ^DISCoPump.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Drip.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^EirGrabber.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^FlashGet.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetRight.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Gets.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Grafula.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^IBrowse.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^InterGET.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^InternetNinja.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^JustView.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIDowntool.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^MisterPiX.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^NearSite.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetSpider.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^OfflineExplorer.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^PageGrabber.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^PapaFoto.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^ReGet.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Slurp.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^SpaceBison.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebAuto.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Yahoo.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^twiceler.* [OR]

AuthUserFile /dev/null

AuthGroupFile /dev/null

Блог =) (http://hostages.ru) парсер market.yandex.ru (/ru/forum/comment/4942316) + парсеры на заказ

AX

133

ApocX

15 января 2010, 09:12

#7


RewriteEngine On

Options +FollowSymlinks

RewriteBase /



RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]

RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]

RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR]

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]

RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]

RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]

RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]

RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR]

RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR]

RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR]

RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]

RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]

RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]

RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]

RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]

RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]

RewriteCond %{HTTP_USER_AGENT} ^check_http [OR]

RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]

RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR]

RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]

RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]

RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]

RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR]

RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]

RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]

RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]

RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]

RewriteCond %{HTTP_USER_AGENT} ^FrontPage [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]

RewriteCond %{HTTP_USER_AGENT} ^Googlebot-Image [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]

RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]

RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]

RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR]

RewriteCond %{HTTP_USER_AGENT} ^hloader [OR]

RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]

RewriteCond %{HTTP_USER_AGENT} ^httplib [OR]

RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]

RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]

RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]

RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]

RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]

RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]

RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR]

RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]

RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkScan/8.1a.Unix [OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]

RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR]

RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister.PiX [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]

RewriteCond %{HTTP_USER_AGENT} ^moget [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/2 [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]

RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]

RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]

RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]

RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline.Explorer [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]

RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]

RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]

RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]

RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]

RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot/2.14 [OR]

RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]

RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]

RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]

RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR]

RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]

RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]

RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR]

RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]

RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^spanner [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]

RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR]

RewriteCond %{HTTP_USER_AGENT} ^Szukacz/1.4 [OR]

RewriteCond %{HTTP_USER_AGENT} ^schibstedsokbot [OR]

RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]

RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teemer [OR]

RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR]

RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR]

RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Titan [OR]

RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]

RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]

RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR]

RewriteCond %{HTTP_USER_AGENT} ^turingos [OR]

RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot/1.5 [OR]

RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR]

RewriteCond %{HTTP_USER_AGENT} ^VCI [OR]

RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]

RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]

RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]

RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR]

RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR]

RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Xenu's [OR]

RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR]

RewriteCond %{HTTP_USER_AGENT} ^vBSEO [OR]

RewriteCond %{HTTP_USER_AGENT} ^Trident [OR]

RewriteCond %{HTTP_USER_AGENT} ^Sogou

RewriteRule ^(.*)$ http://google.com/

74

Dimid

15 января 2010, 11:28

#8

может просто оставить нужных?

A

31

avriki

15 января 2010, 11:39

#9

Dimid:
может просто оставить нужных?

тогда поидее будет риск стать подозреваемым в клоакинге

>> Контент за смешные деньги. Килосимвол 95% уника от $0,40 - ну не сказка ли? :) (http://advego.ru/0tn3fPkK3F) <<

95

4arger

15 января 2010, 11:46

#10

Dimid:
может просто оставить нужных?

а как это реализовать?

Google: E-E-A-T не является фактором ранжирования

Переиграть и победить: как анализировать конкурентов для продвижения сайта