мне кажется в алоу прописать всех остальных ботов а не так:
Slurp, Webalta, AportWorm, msnbot
ботов намного больше лазает по сайту (неполный список, все не влезли)
googlebot=Google.com
slurp@inktomi=Hot Bot
ask jeeves=Ask Jeeves
lycos=Lycos.com
whatuseek=What You Seek
ia_archiver=Archive.org
AbachoBOT (Mozilla compatible)=Бот - Crawler.de
AbachoBOT=Бот - Crawler.de
abcdatos_botlink=Бот - Abcdatos.com
About/0.1libwww-perl/5.47=Бот - About.com
abot/0.1=Бот - Abot.com
abot/0.1 (abot; www.abot.com; abot @ abot.com)=Бот - Abot.com
accoona=Бот - Accoona.com
AcoiRobot=Бот - Acoi Picture Robot
Acoon Robot v1.50.001=Бот - Acoon.de
Acoon Robot v1.52=Бот - Acoon.de
Acoon Robot=Бот - Accon.de
ActiveWorlds/3.xx=Бот - ActiveWorlds.com
admin @ crawler.de=Бот - Crawler.de
admin @ maxbot.com=Бот - maxbot.com
ADSARobot=Бот - ADSARobot
AESOP_com_SpiderMan=Бот - Aesop.com
agadine/1.x.x=Бот - Agada.de
Agent-admin/=Бот - Daum.net
ah-ha.com crawler (crawler@ah-ha.com)=Бот - Ah-ha.com
ah-ha.com crawler=Бот - Ah-ha.com
Aladin/3.324=Бот - Aladin.de
Aleksika Spider/1.0=Бот - Aleksika.de
AlkalineBOT/1.3=Бот - Vestris.com
AlkalineBOT/1.4=Бот - Vestris.com
AlkalineBOT=Бот - AlkalineBOT
Allesklar/0.1 libwww-perl/5.46=Бот - Allesklar.de
AltaVista-Intranet=Бот - Altavista.co.uk
amaya=Бот - libwww.amaya
AmfibiBOT=Бот - Amfibi.com
Amiga-AWeb/3.4.167SE=Бот - AWeb.com
amzn_assoc=Бот - Amazon.com
AnswerChase PROve x.0=Бот - AnswerChase.com
AnswerChase x.0=Бот - AnwserChase.com
AnswerChase=Бот - AnswerChase.com
Antibot=Бот - AntiSeach.net
antibot-V1.1.5/i586-linux-2.2=Бот - AntiSeach.net
AnzwersCrawl/2.0=Бот - Anzwers
A-Online Search=Бот - Jet2Web.com
Aport=Бот - Aport.ru
aport=Бот - Aport
appie 1.1=Бот - Walhello.com
appie=Бот - Walhello.com
arachnoidea @ euroseek.net=Бот - Euroseek.net
Arachnoidea=Бот - Euroseek.com
Aranha=Бот - Girafa.com
ArchitectSpider=Бот - Excite.com
archive.org_bot=Бот - Archive.org
archive_org=Бот - Archive.org
Ask Jeeves=Бот - Ask Jeeves
ask jeeves=Бот - Ask Jeeves
ask.24x.info=Бот - Ask.24x.info
ASPSeek/1.2.5=Бот - ASPSeek.org
ASPseek/1.2.9d=Бот - ASPSeek.com
ASPSeek/1.2.x=Бот - ASPSeek.org
ASPSeek/1.2.xa=Бот - ASPSeek.org
ASPseek/1.2.xx=Бот - ASPseek.org
ASPSeek/1.2.xxpre=Бот - ASPSeek.org
ASPSeek=Бот - ASPSeek.org
asterias/2.0=Бот - SingingFish.com
Asterias=Бот - SingingFish.com
AtlocalBot=Бот - Atlocal.com
AtlocalBot/1.1 +(http://www.atlocal.com/local-web-site-owner.html)=Бот - Atlocal.com
Atomz/1.0=Бот - Atomz.com
Atomz=Бот - Atomz.com
Augurfind=Бот - Augurnet.ch
augurnfind V-1.x=Бот - Augurnet.ch
autohttp=Бот - Elsop.com
AV Fetch 1.0=Бот - Altavista.com
AVSearch=Бот - Altavista.com
AVSearch-3.0=Бот - Altavista.com
AxmoRobot=Бот - Axmo.com
Baiduspider+=Бот - Baidu.com
BaiDuSpider=Бот - Baidu.com
BanBots/1.2=Бот - Banbots.com
BarraHomeCrawler=Бот - BarraHome.com
bdcindexer_2.6.2=Бот - Business.com
BDFetch=Бот - Brandimensions.com
BDNcentral Crawler v2.3=Бот - Bdncentral.com
beautybot/1.0=Бот - Cosmoty.com
Binky=Бот - libwww.Binky
Bilbo/2.3b-UNIX=Бот - Biblo Bot
BlackWidow=Бот - BlackWidow Bot
Blaiz-Bee/1.0 (+http://www.blaiz.net)=Бот - Blaiz.net
Blaiz-Bee/1.0=Бот - Blaiz.net
BlitzBOT @ tricus.net (Mozilla compatible)=Бот - Blitzsuche.rp-online.de
BlitzBOT @ tricus.net=Бот - Blitzsuche.rp-online.de
BlogBot/1.x=Бот - Blogdex.net
BlogBot=Бот - Blogdex.net
blogWatcher_Spider/0.1=Бот - Blogwatcher.pi.titech.ac.jp
Bloglines Title Fetch/1.0 (http://www.bloglines.com)=Бот - Bloglines.com
boitho.com-dc/0.xx=Бот - Boitho.com
boitho.com-robot/1.x=Бот - Boitho.com
booch=Бот - Booch
BSDSeek/1.0=Бот - Inktomi.com
BullsEye=Бот - Intelliseek.com
bumblebee @ relevare.com=Бот - Relevare.com
Buscaplus Robi/1.0=Бот - Buscaplus.com
Buscaplus Robi=Бот - Buscaplus.com
CanSeek/=Бот - Cansee.ca
ChristCRAWLER 2.0=Бот - Christcrawler.com
ChristCRAWLER=Бот - Christcrawler.com
CipinetBot=Бот - Cipinet.com
citenikbot/=Бот - Cenik.co.uk
ClariaBot/1.0=Бот - Searchscout.com
Claymont.com=Бот - Claymont.com
CLIPS-index=Бот - Cips-index.imag.fr
Clushbot/3.3-BinaryFury (+http://www.clush.com/bot.html)=Бот - Clush.com
Clushbot/3.3-BinaryFury=Бот - Clush.com
Combine/x.0=Бот - Combine Bot
Computer_and_Automation_Research_Institute_Crawler=Бот - Research Bot
contact/jylee@kies.co.kr=Бот - Kies.co.kr
Convera Internet Spider V6.x=Бот - Convera.com
cosmos/0.8_(robot@xyleme.com)=Бот - Xyleme.com
cosmos/0.9_(robot@xyleme.com)=Бот - Xyleme.com
cosmos=Бот - Xyleme.com
C-PBWF-ip3000.com-crawler=Бот - IP3000.com
CrawlConvera0.1=Бот - Converna.net
Crawler (cometsearch@cometsystems.com)=Бот - Findwhat.com
Crawler admin @ crawler.de=Бот - Crawler.de
Crawler V 0.2.x
crawler @ alexa.com=Бот - Alexa.com
crawler @ brainbot.com=Бот - Brainbot.com
crawler @ fast.no=Бот - Alltheweb.com
Crawler=Бот - Crawler.de
CrawlerBoy Pinpoint.com=Бот - Pinpoint.com
CrawlerBoy=Бот - Pinpoint.com
CrocCrawler=Бот - CrocCrawler.com
Custom Spider www.bisnisseek.com
DaAdLe.com ROBOT/=Бот - Daadle.com
DataparkSearch/4.xx=Бот - DataparkSearch.com
DaviesBot/1.7=Бот - Wholeweb.net
DaviesBot=Бот - Wholeweb.net
dbDig=Бот - Prairielandconsulting.com
DBrowse 1.4b=Бот - DBrowse Bot
DBrowse 1.4d=Бот - DBrowse Bot
dCSbot/1.1=Бот - Openmarket.com
DeepIndex=Бот - DeepIndex.com
DeepIndexer.ca=Бот - DeepIndex.com
deepweb=Бот - Deepweb.com
Demo Bot DOT 16b=Бот - Btopenworld.com
DiaGem/=Бот - Skyrocket.gr.jp
DiaGem/1.1 (http://www.skyrocket.gr.jp/diagem.html)=Бот - Skyrocket.gr.jp
DiaGem/1.1=Бот - Skyrocket.gr.jp
Diamond/1.0=Бот - Searchscout.com
Digger/1.0 JDK/1.3.0rc3=Бот - Diggit.com
Digimarc WebReader=Бот - Digimarc.com
DigOut4U=Бот - Arisem.com
DirectHit: Grabber
DIIbot/1.2=Бот - Digital-Integrity.com
DIIbot=Бот - Digital-Integrity.com
DittoSpyder=Бот - Ditto.com
dloader(NaverRobot)/=Бот - Naver.com
dtSearchSpider=Бот - Dtsearch.com
Dumbot(version 0.1 beta - dumbfind.com)=Бот - Dumbfind.com
Dumbot(version 0.1 beta)=Бот - Dumbfind.com
EARTHCOM.info/1.4beta=Бот - Earthcom.info
EasyDL/3.02=Бот - Keywen.com
EasyDL/3.03=Бот - Keywen.com
EasyDL/3.04=Бот - Keywen.com
EasyDL/3.xx keywen.com/Encyclopedi...Keywen.com
EasyDL/3.xx=Бот - Keywen.com
EchO!/2.0=Бот - Voila.com
egothor/3.0a (+http://www.xdefine.org/robot.html)=Бот - Xdefine.com
egothor/3.0a=Бот - Xdefine.com
EgotoBot/4.8=Бот - Egoto.com
Enterprise_Search/1.0.xxx=Бот - Innerprise.net
Enterprise_Search/1.0=Бот - Innerprise.net
erik @ malfunction.org=Бот - Malfunction.org
EroCrawler=Бот - Erocrawler.com
ES.NET_Crawler/2.0=Бот - Innerprise.net
eseek-larbin_2.6.2=Бот - Exactseek.com
ESISmartSpider=Бот - Travel-Finder.com
ExactSeek Crawler/0.1=Бот - Exactseek.com
exactseek-crawler-2.63=Бот - Exactseek.com
Exalead NG/MimeLive Client=Бот - Exabot.com
Excalibur Internet Spider
Excite: ArchitextSpider
V6.5.4=Бот - Excalib.com
ExperimentalHenrytheMiragoRobot=Бот - Mirago.co.uk
EyeCatcher (Download-tipp.de)/1.0=Бот - Download-tipp.de
EyeCatcher=Бот - Download-tipp.de
EZResult=Бот - Ezresults.com
Fast Crawler Gold Edition=Бот - Alltheweb.com
FAST Data Search Crawler=Бот - Alltheweb.com
FAST Enterprise Crawler 6 (Experimental)=Бот - Alltheweb.com
FAST Enterprise Crawler 6 used by FAST (FAST)=Бот - Alltheweb.com
FAST Enterprise Crawler 6 used by FAST=Бот - Alltheweb.com
FAST Enterprise Crawler 6=Бот - Alltheweb.com
FAST Enterprise Crawler/6 (www.fastsearch.com)=Бот - Alltheweb.com
FAST Enterprise Crawler/6=Бот - Alltheweb.com
FAST FirstPage retriever (compatible; MSIE 5.5; Mozilla/4.0)=Бот - Alltheweb.com
FAST FirstPage retriever=Бот - Alltheweb.com
Fast PartnerSite Crawler=Бот - Alltheweb.com
FastCrawler 3.0.1 (crawler@1klik.dk)=Бот - Alltheweb.com
FastCrawler 3.0.1=Бот - Alltheweb.com
FAST-WebCrawler/2.2.10=Бот - Altheweb.com
FAST-WebCrawler/2.2.6=Бот - Altheweb.com
FAST-WebCrawler/2.2.7=Бот - Altheweb.com
FAST-WebCrawler/2.2.8=Бот - Altheweb.com
FAST-WebCrawler/3.2 test=Бот - Altheweb.com
FAST-WebCrawler/3.2=Бот - Altheweb.com
FAST-WebCrawler/3.3=Бот - Altheweb.com
FAST-WebCrawler/3.4/Nirvana=Бот - Altheweb.com
FAST-WebCrawler/3.4/PartnerSite=Бот - Altheweb.com
FAST-WebCrawler/3.5=Бот - Altheweb.com
FAST-WebCrawler/3.6/FirstPage=Бот - Altheweb.com
FAST-WebCrawler/3.6=Бот - Altheweb.com
FAST- FAST-WebCrawler/3.7=Бот - Altheweb.com
FAST-WebCrawler/3.8/Fresh=Бот - Altheweb.com
FAST-WebCrawler/3.8=Бот - Altheweb.com
FAST-WebCrawler/3.x Multimedia (mm dash crawler at fast dot no)=Бот - Altheweb.com
FAST-WebCrawler/3.x Multimedia=Бот - Altheweb.com
FAST-WebCrawler=Бот - Alltheweb.com
Faxobot/1.0=Бот - FaXo.com
Felix - Mixcat Crawler=Бот - Mixcat.com
Felix=Бот - Mixcat.com
FFC Trap Door Spider=Бот - Frequentfinders.com
fido/1.0 Harvest/1.4.pl2=Бот - Planet Search
FinaleRobot=Бот - expressus.com
FindAnISP.com_ISP_Finder_v99a=Бот - FindAnI
FineBot=Бот - Finesearch.com
TeraCrawl=Бот - TeraCrawl
Teradex_Mapper=Бот - Mapper.teradex.com
The Informant=Бот - The Informant
Yahoo Web Pages: Googlebot
Yandex=Бот - Yandex
Yellopet-Spider=Бот - YellowPet.com
YottaShopping_Bot
Zao Bot
Zao/0.2=Бот - Zao Bot
ZipppBot
WiseNut
Rutgers.edu
Bisnisseek.com
чем больше букв, тем лучше - проверено годами
месяц на вирт хостинге зенона, полёт нормальный.
ттх сайта:
джумла, посетителей 500-600 в день, почта, объём данных примерно 1 гб
как пожелание сделайте пожайлуста каталог сайтов для клиентов, и нам приятно - ссылка жирная, и вам думаю не в тягость.
у меня стоят рамблер топ - это для хорошей индексации страниц на сайте (открыт счётчик)
гугл аналитикс и яндекс метрика
лучше синица под дверью, чем журавль в унитазе
где-то слышал что вся нефтянка поделена между Лукойом (Алекперов) и Роснефтью (Путин).
в принципе похоже на правду...
Nora
у меня была кошка с разными глазами, прикольно было ))
Виктор политику не надо примешивать...
чё-то я всё больше офигеваю - как скандал финансовый так Приват банк, я уже и его обменники обхожу стороной и сервисы оплаты с его участием игнорю, чтож за банк такой?
конечно Каширин
без вариантов, остальные со...совсем никуда не годяться
так я и не говорил что свежая тема
