Форум Сайтостроение Веб-строительство

robots.txt для запрета западных "ненужных" ботов

Dreammaker
На сайте с 20.04.2006
Offline
569
Dreammaker
4136

Хотел начать эту тему вопросом, но вовремя нашёл пример такого роботса.

Может кому пригодится (особенно для тех у кого траффик платный).

Там вначале указаны паузы с которыми должны индексить нужные боты - это можно убрать, или оставить-поменять на нужное, если сильно грузят базу эти боты.

Взято от сюда: http://www.firewallforums.com/forums/showthread.php?p=8 


User-agent: *

Disallow: /cgi-bin/

Disallow: /images/



User-agent: gigabot

Crawl-delay: 120



User-agent: googlebot

Crawl-delay: 120



User-agent: msnbot

Crawl-delay: 120



User-agent: teoma

Crawl-delay: 120



User-agent: slurp

Crawl-delay: 120



User-agent: aipbot

Disallow: /



User-agent: ia_archiver

Disallow: /



User-agent: Alexibot 

Disallow: /



User-agent: Aqua_Products 

Disallow: /



User-agent: asterias 

Disallow: /



User-agent: b2w/0.1 

Disallow: /



User-agent: BackDoorBot/1.0 

Disallow: /



User-agent: becomebot

Disallow: /



User-agent: BlowFish/1.0 

Disallow: /



User-agent: Bookmark search tool 

Disallow: /



User-agent: BotALot 

Disallow: /



User-agent: BotRightHere 

Disallow: /



User-agent: BuiltBotTough 

Disallow: /



User-agent: Bullseye/1.0 

Disallow: /



User-agent: BunnySlippers 

Disallow: /



User-agent: CheeseBot 

Disallow: /



User-agent: CherryPicker 

Disallow: /



User-agent: CherryPickerElite/1.0 

Disallow: /



User-agent: CherryPickerSE/1.0 

Disallow: /



User-agent: Copernic 

Disallow: /



User-agent: CopyRightCheck 

Disallow: /



User-agent: cosmos 

Disallow: /



User-agent: Crescent 

Disallow: /



User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 

Disallow: /



User-agent: DittoSpyder 

Disallow: /



User-agent: EmailCollector 

Disallow: /



User-agent: EmailSiphon 

Disallow: /



User-agent: EmailWolf 

Disallow: /



User-agent: EroCrawler 

Disallow: /



User-agent: ExtractorPro 

Disallow: /



User-agent: FairAd Client 

Disallow: /



User-agent: Fasterfox

Disallow: /



User-agent: Flaming AttackBot 

Disallow: /



User-agent: Foobot 

Disallow: /



User-agent: Gaisbot 

Disallow: /



User-agent: GetRight/4.2 

Disallow: /



User-agent: Harvest/1.5 

Disallow: /



User-agent: hloader 

Disallow: /



User-agent: httplib 

Disallow: /



User-agent: HTTrack 3.0 

Disallow: /



User-agent: humanlinks 

Disallow: /



User-agent: IconSurf

Disallow: /

Disallow: /favicon.ico



User-agent: InfoNaviRobot 

Disallow: /



User-agent: Iron33/1.0.2 

Disallow: /



User-agent: JennyBot 

Disallow: /



User-agent: Kenjin Spider 

Disallow: /



User-agent: Keyword Density/0.9 

Disallow: /



User-agent: larbin 

Disallow: /



User-agent: LexiBot 

Disallow: /



User-agent: libWeb/clsHTTP 

Disallow: /



User-agent: LinkextractorPro 

Disallow: /



User-agent: LinkScan/8.1a Unix 

Disallow: /



User-agent: LinkWalker 

Disallow: /



User-agent: LNSpiderguy 

Disallow: /



User-agent: lwp-trivial 

Disallow: /



User-agent: lwp-trivial/1.34 

Disallow: /



User-agent: Mata Hari 

Disallow: /



User-agent: Microsoft URL Control 

Disallow: /



User-agent: Microsoft URL Control - 5.01.4511 

Disallow: /



User-agent: Microsoft URL Control - 6.00.8169 

Disallow: /



User-agent: MIIxpc 

Disallow: /



User-agent: MIIxpc/4.2 

Disallow: /



User-agent: Mister PiX 

Disallow: /



User-agent: moget 

Disallow: /



User-agent: moget/2.1 

Disallow: /



User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95) 

Disallow: /



User-agent: MSIECrawler 

Disallow: /



User-agent: NetAnts 

Disallow: /



User-agent: NICErsPRO 

Disallow: /



User-agent: Offline Explorer 

Disallow: /



User-agent: Openbot 

Disallow: /



User-agent: Openfind 

Disallow: /



User-agent: Openfind data gatherer 

Disallow: /



User-agent: Oracle Ultra Search 

Disallow: /



User-agent: PerMan 

Disallow: /



User-agent: ProPowerBot/2.14 

Disallow: /



User-agent: ProWebWalker 

Disallow: /



User-agent: psbot 

Disallow: /



User-agent: Python-urllib 

Disallow: /



User-agent: QueryN Metasearch 

Disallow: /



User-agent: Radiation Retriever 1.1 

Disallow: /



User-agent: RepoMonkey 

Disallow: /



User-agent: RepoMonkey Bait & Tackle/v1.01 

Disallow: /



User-agent: RMA 

Disallow: /



User-agent: searchpreview 

Disallow: /



User-agent: SiteSnagger 

Disallow: /



User-agent: SpankBot 

Disallow: /



User-agent: spanner 

Disallow: /



User-agent: SurveyBot

Disallow: /



User-agent: suzuran 

Disallow: /



User-agent: Szukacz/1.4 

Disallow: /



User-agent: Teleport 

Disallow: /



User-agent: TeleportPro 

Disallow: /



User-agent: Telesoft 

Disallow: /



User-agent: The Intraformant 

Disallow: /



User-agent: TheNomad 

Disallow: /



User-agent: TightTwatBot 

Disallow: /



User-agent: toCrawl/UrlDispatcher 

Disallow: /



User-agent: True_Robot 

Disallow: /



User-agent: True_Robot/1.0 

Disallow: /



User-agent: turingos 

Disallow: /



User-agent: TurnitinBot 

Disallow: /



User-agent: TurnitinBot/1.5 

Disallow: /



User-agent: URL Control 

Disallow: /



User-agent: URL_Spider_Pro 

Disallow: /



User-agent: URLy Warning 

Disallow: /



User-agent: VCI 

Disallow: /



User-agent: VCI WebViewer VCI WebViewer Win32 

Disallow: /



User-agent: Web Image Collector 

Disallow: /



User-agent: WebAuto 

Disallow: /



User-agent: WebBandit 

Disallow: /



User-agent: WebBandit/3.50 

Disallow: /



User-agent: WebCapture 2.0 

Disallow: /



User-agent: WebCopier 

Disallow: /



User-agent: WebCopier v.2.2 

Disallow: /



User-agent: WebCopier v3.2a 

Disallow: /



User-agent: WebEnhancer 

Disallow: /



User-agent: WebSauger 

Disallow: /



User-agent: Website Quester 

Disallow: /



User-agent: Webster Pro 

Disallow: /



User-agent: WebStripper 

Disallow: /



User-agent: WebZip 

Disallow: /



User-agent: WebZip 

Disallow: /



User-agent: WebZip/4.0 

Disallow: /



User-agent: WebZIP/4.21 

Disallow: /



User-agent: WebZIP/5.0 

Disallow: /



User-agent: Wget 

Disallow: /



User-agent: wget 

Disallow: /



User-agent: Wget/1.5.3 

Disallow: /



User-agent: Wget/1.6 

Disallow: /



User-agent: WWW-Collector-E 

Disallow: /



User-agent: Xenu's 

Disallow: /



User-agent: Xenu's Link Sleuth 1.1c 

Disallow: /



User-agent: Zeus 

Disallow: /



User-agent: Zeus 32297 Webster Pro V2.9 Win32 

Disallow: /



User-agent: Zeus Link Scout 

Disallow: /
K
На сайте с 12.07.2006
Offline
295
Kpd
#1

Dreammaker, что лучше в плане производительности - правила в robots.txt или в .htaccess?

Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#2
Kpd:
Dreammaker, что лучше в плане производительности - правила в robots.txt или в .htaccess?

robots.txt - надо отдать один раз как есть, а .htaccess разбирать на каждый запрос. В плане производительности, конечно, robots.txt, так как никакой нагрузки не создает, только трафик и то не большой. Это если робот честный

www.shtogrin.com (http://www.shtogrin.com/). Канцтовары (http://www.invit.com.ua/). 1С Бухгалтерия (http://account.kiev.ua/).
K
На сайте с 12.07.2006
Offline
295
Kpd
#3
Shtogrin:
Это если робот честный

Т.е. все перечисленные выше боты честно читают и выполняют robots?

B
На сайте с 29.01.2007
Offline
141
beep
#4
Kpd:
и выполняют robots

а вот это наверняка знать нельзя, что двигало создателем бота

Shtogrin
На сайте с 02.11.2006
Offline
95
Shtogrin
#5
Kpd:
Т.е. все перечисленные выше боты честно читают и выполняют robots?

Трудно сказать. Но если робот плохой и хочет выгрузить сайт, он же может обозвать себя, например как IE. Тут ни robots.txt ни .htaccess не помогут. Поэтому, robots.txt хватит.

Z
На сайте с 13.11.2006
Offline
107
Zender
#6

А вот этот зверь как называется? Хочу его закрыть от индексации... Или он берет данные с другого поисковика?

http://www.liveinternet.ru/

Dreammaker
На сайте с 20.04.2006
Offline
569
Dreammaker
#7

По идее, у них нет своего бота. По крайней мере, не было. У них поиск идёт согласно данным полученных со статистики поисковых запросов.

A
На сайте с 12.01.2006
Offline
61
Apalon
#8

как раз решал вопрос снизить расходы на платном трафе хостинга, спасибо за топик

ГЛАВная фарма-партнерка. Удобные аптеки, детальная статистика, высокий конверт! (http://www.glavmed.com/) | 150$ Бонус всем новичкам в ПОКЕРЕ (http://ru.pokerstrategy.com/u1XCQ7) $$$ на дороге (http://www.sape.ru/r.b17970ce21.php)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий