Правильно отсек лишних ботов?

А вот этим: Googlebot, StackRambler

точно не поплохеет от директивы Host: ?

Ну не понимают они ее и что, в ступор впадут? Мне кажется просто проигнорируют, нет?

Вопрос в том, проигнорируют они одну строчку или весь блок.

мне кажется в алоу прописать всех остальных ботов а не так:

Slurp, Webalta, AportWorm, msnbot

ботов намного больше лазает по сайту (неполный список, все не влезли)

googlebot=Google.com

slurp@inktomi=Hot Bot

ask jeeves=Ask Jeeves

lycos=Lycos.com

whatuseek=What You Seek

ia_archiver=Archive.org

AbachoBOT (Mozilla compatible)=Бот - Crawler.de

AbachoBOT=Бот - Crawler.de

abcdatos_botlink=Бот - Abcdatos.com

About/0.1libwww-perl/5.47=Бот - About.com

abot/0.1=Бот - Abot.com

abot/0.1 (abot; www.abot.com; abot @ abot.com)=Бот - Abot.com

accoona=Бот - Accoona.com

AcoiRobot=Бот - Acoi Picture Robot

Acoon Robot v1.50.001=Бот - Acoon.de

Acoon Robot v1.52=Бот - Acoon.de

Acoon Robot=Бот - Accon.de

ActiveWorlds/3.xx=Бот - ActiveWorlds.com

admin @ crawler.de=Бот - Crawler.de

admin @ maxbot.com=Бот - maxbot.com

ADSARobot=Бот - ADSARobot

AESOP_com_SpiderMan=Бот - Aesop.com

agadine/1.x.x=Бот - Agada.de

Agent-admin/=Бот - Daum.net

ah-ha.com crawler (crawler@ah-ha.com)=Бот - Ah-ha.com

ah-ha.com crawler=Бот - Ah-ha.com

Aladin/3.324=Бот - Aladin.de

Aleksika Spider/1.0=Бот - Aleksika.de

AlkalineBOT/1.3=Бот - Vestris.com

AlkalineBOT/1.4=Бот - Vestris.com

AlkalineBOT=Бот - AlkalineBOT

Allesklar/0.1 libwww-perl/5.46=Бот - Allesklar.de

AltaVista-Intranet=Бот - Altavista.co.uk

amaya=Бот - libwww.amaya

AmfibiBOT=Бот - Amfibi.com

Amiga-AWeb/3.4.167SE=Бот - AWeb.com

amzn_assoc=Бот - Amazon.com

AnswerChase PROve x.0=Бот - AnswerChase.com

AnswerChase x.0=Бот - AnwserChase.com

AnswerChase=Бот - AnswerChase.com

Antibot=Бот - AntiSeach.net

antibot-V1.1.5/i586-linux-2.2=Бот - AntiSeach.net

AnzwersCrawl/2.0=Бот - Anzwers

A-Online Search=Бот - Jet2Web.com

Aport=Бот - Aport.ru

aport=Бот - Aport

appie 1.1=Бот - Walhello.com

appie=Бот - Walhello.com

arachnoidea @ euroseek.net=Бот - Euroseek.net

Arachnoidea=Бот - Euroseek.com

Aranha=Бот - Girafa.com

ArchitectSpider=Бот - Excite.com

archive.org_bot=Бот - Archive.org

archive_org=Бот - Archive.org

Ask Jeeves=Бот - Ask Jeeves

ask jeeves=Бот - Ask Jeeves

ask.24x.info=Бот - Ask.24x.info

ASPSeek/1.2.5=Бот - ASPSeek.org

ASPseek/1.2.9d=Бот - ASPSeek.com

ASPSeek/1.2.x=Бот - ASPSeek.org

ASPSeek/1.2.xa=Бот - ASPSeek.org

ASPseek/1.2.xx=Бот - ASPseek.org

ASPSeek/1.2.xxpre=Бот - ASPSeek.org

ASPSeek=Бот - ASPSeek.org

asterias/2.0=Бот - SingingFish.com

Asterias=Бот - SingingFish.com

AtlocalBot=Бот - Atlocal.com

AtlocalBot/1.1 +(http://www.atlocal.com/local-web-site-owner.html)=Бот - Atlocal.com

Atomz/1.0=Бот - Atomz.com

Atomz=Бот - Atomz.com

Augurfind=Бот - Augurnet.ch

augurnfind V-1.x=Бот - Augurnet.ch

autohttp=Бот - Elsop.com

AV Fetch 1.0=Бот - Altavista.com

AVSearch=Бот - Altavista.com

AVSearch-3.0=Бот - Altavista.com

AxmoRobot=Бот - Axmo.com

Baiduspider+=Бот - Baidu.com

BaiDuSpider=Бот - Baidu.com

BanBots/1.2=Бот - Banbots.com

BarraHomeCrawler=Бот - BarraHome.com

bdcindexer_2.6.2=Бот - Business.com

BDFetch=Бот - Brandimensions.com

BDNcentral Crawler v2.3=Бот - Bdncentral.com

beautybot/1.0=Бот - Cosmoty.com

Binky=Бот - libwww.Binky

Bilbo/2.3b-UNIX=Бот - Biblo Bot

BlackWidow=Бот - BlackWidow Bot

Blaiz-Bee/1.0 (+http://www.blaiz.net)=Бот - Blaiz.net

Blaiz-Bee/1.0=Бот - Blaiz.net

BlitzBOT @ tricus.net (Mozilla compatible)=Бот - Blitzsuche.rp-online.de

BlitzBOT @ tricus.net=Бот - Blitzsuche.rp-online.de

BlogBot/1.x=Бот - Blogdex.net

BlogBot=Бот - Blogdex.net

blogWatcher_Spider/0.1=Бот - Blogwatcher.pi.titech.ac.jp

Bloglines Title Fetch/1.0 (http://www.bloglines.com)=Бот - Bloglines.com

boitho.com-dc/0.xx=Бот - Boitho.com

boitho.com-robot/1.x=Бот - Boitho.com

booch=Бот - Booch

BSDSeek/1.0=Бот - Inktomi.com

BullsEye=Бот - Intelliseek.com

bumblebee @ relevare.com=Бот - Relevare.com

Buscaplus Robi/1.0=Бот - Buscaplus.com

Buscaplus Robi=Бот - Buscaplus.com

CanSeek/=Бот - Cansee.ca

ChristCRAWLER 2.0=Бот - Christcrawler.com

ChristCRAWLER=Бот - Christcrawler.com

CipinetBot=Бот - Cipinet.com

citenikbot/=Бот - Cenik.co.uk

ClariaBot/1.0=Бот - Searchscout.com

Claymont.com=Бот - Claymont.com

CLIPS-index=Бот - Cips-index.imag.fr

Clushbot/3.3-BinaryFury (+http://www.clush.com/bot.html)=Бот - Clush.com

Clushbot/3.3-BinaryFury=Бот - Clush.com

Combine/x.0=Бот - Combine Bot

Computer_and_Automation_Research_Institute_Crawler=Бот - Research Bot

contact/jylee@kies.co.kr=Бот - Kies.co.kr

Convera Internet Spider V6.x=Бот - Convera.com

cosmos/0.8_(robot@xyleme.com)=Бот - Xyleme.com

cosmos/0.9_(robot@xyleme.com)=Бот - Xyleme.com

cosmos=Бот - Xyleme.com

C-PBWF-ip3000.com-crawler=Бот - IP3000.com

CrawlConvera0.1=Бот - Converna.net

Crawler (cometsearch@cometsystems.com)=Бот - Findwhat.com

Crawler admin @ crawler.de=Бот - Crawler.de

Crawler V 0.2.x

crawler @ alexa.com=Бот - Alexa.com

crawler @ brainbot.com=Бот - Brainbot.com

crawler @ fast.no=Бот - Alltheweb.com

Crawler=Бот - Crawler.de

CrawlerBoy Pinpoint.com=Бот - Pinpoint.com

CrawlerBoy=Бот - Pinpoint.com

CrocCrawler=Бот - CrocCrawler.com

Custom Spider www.bisnisseek.com

DaAdLe.com ROBOT/=Бот - Daadle.com

DataparkSearch/4.xx=Бот - DataparkSearch.com

DaviesBot/1.7=Бот - Wholeweb.net

DaviesBot=Бот - Wholeweb.net

dbDig=Бот - Prairielandconsulting.com

DBrowse 1.4b=Бот - DBrowse Bot

DBrowse 1.4d=Бот - DBrowse Bot

dCSbot/1.1=Бот - Openmarket.com

DeepIndex=Бот - DeepIndex.com

DeepIndexer.ca=Бот - DeepIndex.com

deepweb=Бот - Deepweb.com

Demo Bot DOT 16b=Бот - Btopenworld.com

DiaGem/=Бот - Skyrocket.gr.jp

DiaGem/1.1 (http://www.skyrocket.gr.jp/diagem.html)=Бот - Skyrocket.gr.jp

DiaGem/1.1=Бот - Skyrocket.gr.jp

Diamond/1.0=Бот - Searchscout.com

Digger/1.0 JDK/1.3.0rc3=Бот - Diggit.com

Digimarc WebReader=Бот - Digimarc.com

DigOut4U=Бот - Arisem.com

DirectHit: Grabber

DIIbot/1.2=Бот - Digital-Integrity.com

DIIbot=Бот - Digital-Integrity.com

DittoSpyder=Бот - Ditto.com

dloader(NaverRobot)/=Бот - Naver.com

dtSearchSpider=Бот - Dtsearch.com

Dumbot(version 0.1 beta - dumbfind.com)=Бот - Dumbfind.com

Dumbot(version 0.1 beta)=Бот - Dumbfind.com

EARTHCOM.info/1.4beta=Бот - Earthcom.info

EasyDL/3.02=Бот - Keywen.com

EasyDL/3.03=Бот - Keywen.com

EasyDL/3.04=Бот - Keywen.com

EasyDL/3.xx keywen.com/Encyclopedi...Keywen.com

EasyDL/3.xx=Бот - Keywen.com

EchO!/2.0=Бот - Voila.com

egothor/3.0a (+http://www.xdefine.org/robot.html)=Бот - Xdefine.com

egothor/3.0a=Бот - Xdefine.com

EgotoBot/4.8=Бот - Egoto.com

Enterprise_Search/1.0.xxx=Бот - Innerprise.net

Enterprise_Search/1.0=Бот - Innerprise.net

erik @ malfunction.org=Бот - Malfunction.org

EroCrawler=Бот - Erocrawler.com

ES.NET_Crawler/2.0=Бот - Innerprise.net

eseek-larbin_2.6.2=Бот - Exactseek.com

ESISmartSpider=Бот - Travel-Finder.com

ExactSeek Crawler/0.1=Бот - Exactseek.com

exactseek-crawler-2.63=Бот - Exactseek.com

Exalead NG/MimeLive Client=Бот - Exabot.com

Excalibur Internet Spider

Excite: ArchitextSpider

V6.5.4=Бот - Excalib.com

ExperimentalHenrytheMiragoRobot=Бот - Mirago.co.uk

EyeCatcher (Download-tipp.de)/1.0=Бот - Download-tipp.de

EyeCatcher=Бот - Download-tipp.de

EZResult=Бот - Ezresults.com

Fast Crawler Gold Edition=Бот - Alltheweb.com

FAST Data Search Crawler=Бот - Alltheweb.com

FAST Enterprise Crawler 6 (Experimental)=Бот - Alltheweb.com

FAST Enterprise Crawler 6 used by FAST (FAST)=Бот - Alltheweb.com

FAST Enterprise Crawler 6 used by FAST=Бот - Alltheweb.com

FAST Enterprise Crawler 6=Бот - Alltheweb.com

FAST Enterprise Crawler/6 (www.fastsearch.com)=Бот - Alltheweb.com

FAST Enterprise Crawler/6=Бот - Alltheweb.com

FAST FirstPage retriever (compatible; MSIE 5.5; Mozilla/4.0)=Бот - Alltheweb.com

FAST FirstPage retriever=Бот - Alltheweb.com

Fast PartnerSite Crawler=Бот - Alltheweb.com

FastCrawler 3.0.1 (crawler@1klik.dk)=Бот - Alltheweb.com

FastCrawler 3.0.1=Бот - Alltheweb.com

FAST-WebCrawler/2.2.10=Бот - Altheweb.com

FAST-WebCrawler/2.2.6=Бот - Altheweb.com

FAST-WebCrawler/2.2.7=Бот - Altheweb.com

FAST-WebCrawler/2.2.8=Бот - Altheweb.com

FAST-WebCrawler/3.2 test=Бот - Altheweb.com

FAST-WebCrawler/3.2=Бот - Altheweb.com

FAST-WebCrawler/3.3=Бот - Altheweb.com

FAST-WebCrawler/3.4/Nirvana=Бот - Altheweb.com

FAST-WebCrawler/3.4/PartnerSite=Бот - Altheweb.com

FAST-WebCrawler/3.5=Бот - Altheweb.com

FAST-WebCrawler/3.6/FirstPage=Бот - Altheweb.com

FAST-WebCrawler/3.6=Бот - Altheweb.com

FAST- FAST-WebCrawler/3.7=Бот - Altheweb.com

FAST-WebCrawler/3.8/Fresh=Бот - Altheweb.com

FAST-WebCrawler/3.8=Бот - Altheweb.com

FAST-WebCrawler/3.x Multimedia (mm dash crawler at fast dot no)=Бот - Altheweb.com

FAST-WebCrawler/3.x Multimedia=Бот - Altheweb.com

FAST-WebCrawler=Бот - Alltheweb.com

Faxobot/1.0=Бот - FaXo.com

Felix - Mixcat Crawler=Бот - Mixcat.com

Felix=Бот - Mixcat.com

FFC Trap Door Spider=Бот - Frequentfinders.com

fido/1.0 Harvest/1.4.pl2=Бот - Planet Search

FinaleRobot=Бот - expressus.com

FindAnISP.com_ISP_Finder_v99a=Бот - FindAnI

FineBot=Бот - Finesearch.com

TeraCrawl=Бот - TeraCrawl

Teradex_Mapper=Бот - Mapper.teradex.com

The Informant=Бот - The Informant

Yahoo Web Pages: Googlebot

Yandex=Бот - Yandex

Yellopet-Spider=Бот - YellowPet.com

YottaShopping_Bot

Zao Bot

Zao/0.2=Бот - Zao Bot

Zao Bot

ZipppBot

WiseNut

Rutgers.edu

Bisnisseek.com

Dram, Kost, ботов уже разрешили через запятую перечислять? 😂 Чо курим?

Значит так?

User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /feed/atom

Disallow: /feed/rss

Disallow: /index.php

Disallow: /index2.php

Disallow: /index2.php?

Disallow: /component/option,com_search/

Disallow: /component/option,com_newsfeeds/

Disallow: /component/option,com_wrapper/

Sitemap: http://www.сайт.ru/sitemap.htm

Host: www.сайт.ru

User-agent: Googlebot

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /feed/atom

Disallow: /feed/rss

Disallow: /index.php

Disallow: /index2.php

Disallow: /index2.php?

Disallow: /component/option,com_search/

Disallow: /component/option,com_newsfeeds/

Disallow: /component/option,com_wrapper/

User-agent: StackRambler

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /feed/atom

Disallow: /feed/rss

Disallow: /index.php

Disallow: /index2.php

Disallow: /index2.php?

Disallow: /component/option,com_search/

Disallow: /component/option,com_newsfeeds/

Disallow: /component/option,com_wrapper/

User-agent: *

Disallow: /

Пойдет :)

Спасибо!!!!

да нормально,

но красивее так:

User-agent: Yandex, Googlebot, StackRambler

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /feed/atom

Disallow: /feed/rss

Disallow: /index.php

Disallow: /index2.php

Disallow: /index2.php?

Disallow: /component/option,com_search/

Disallow: /component/option,com_newsfeeds/

Disallow: /component/option,com_wrapper/

Sitemap: http://www.сайт.ru/sitemap.htm

Host: www.сайт.ru

User-agent: *

Disallow: /

и потом в вебмастере в сервисе

"Проверка корректности файла robots.txt"

в поле "Список URL:"

наберите разные урлы запрещённые и не запрещённые чтоб

убедиться что всё правильно

лучше перебздеть чем не добздеть

Красоту в другом месте поищите, а за такое на нашем раёне убивают 😂