Как узнать, какие роботы и когда посещали сайт

Это просто праздник какой-то!

Спасибо за список

И еще отдельное спасибо Vyacheslav Tikhonov за подсказку искать запросы robots.txt.

<font face="Verdana" size="2">Originally posted by Iva3000:
Это просто праздник какой-то!
Спасибо за список
И еще отдельное спасибо Vyacheslav Tikhonov за подсказку искать запросы robots.txt. </font>

Ну раз пошла такая пьянка, то вот вам перловая болванка тех спайдеров, что я знаю.

(из региональных тут в основном немецкие)

# AbachoBOT

if ($agent =~ /AbachoBOT/i) {

}

# Acoon

if ($agent =~ /Acoon/i) {

}

# Aladin

if ($agent =~ /Aladin/i) {

}

# AlkalineBOT

if ($agent =~ /AlkalineBOT/i) {

}

# Allesklar

if ($agent =~ /Allesklar/i) {

}

# WalHello

if ($agent =~ /appie/i) {

}

# EuroSeek

if ($agent =~ /Arachnoidea/i) {

}

# Ask Jeeves

if ($agent =~ /Ask\sJeeves/i) {

}

# Voila.fr

if ($agent =~ /EchO/i) {

}

# FAST

if (($agent =~ /FAST/i) &#0124;&#0124; ($agent =~ /fastlwspider/i) &#0124;&#0124; ($agent =~ /FP/i)) {

}

# Googlebot

if ($agent =~ /Googlebot/i) {

}

# Gulliver - Northern Light

if ($agent =~ /Gulliver/i) {

}

# FireBall

if ($agent =~ /fireball/i) {

}

# MuscatFerret

if ($agent =~ /MuscatFerret/i) {

}

# DirectHit

if ($agent =~ /Grabber/i) {

}

# A-Online Search

if ($agent =~ /A-Online/i) {

}

# EXCITE

if (($agent =~ /ArchitextSpider/i) &#0124;&#0124; ($agent =~ /libwww-perl\/5\.47/i) &#0124;&#0124; ($agent =~ /libwww-perl\/5\.33/i)) {

}

# ALTA VISTA

if (($agent =~ /Scooter/i) &#0124;&#0124; ($agent =~ /AltaVista/i)) {

}

# INFOSEEK

if ($agent =~ /InfoSeek/i) {

}

# LYCOS

if ($agent =~ /Lycos/i) {

}

# INKTOMI

if ($agent =~ /Slurp/i) {

}

Кстати, по поводу AltaVist'ы - мне кажется они за ум взялись, и переиндексирют свою базу! Scooter-W3-1.0 - наблюдаю уже прождолжительное время.

AOT: SE Spiders

[This message has been edited by Nicholas (edited 21-11-2001).]

Вот еще несколько ссылок:

Homepage Slurp: http://www.inktomi.com/slurp.html

Homepage Fast:

http://fast.no/support/crawler.asp

И еще ссылки на списки всяческих разнообразных роботов с robotstxt.org:

http://www.robotstxt.org/wc/active/html/index.html

http://www.robotstxt.org/wc/active/html/type.html

http://www.robotstxt.org/wc/active/html/contact.html

А кто такие-

InternetSeer

Girafabot

HotBot

ia_archiver

SurveyBot

InternetSeer - http://www.internetseer.com/

Girafabot - http://www.girafa.com

HotBot - http://www.hotbot.co.uk/

ia_archiver - http://pages.alexa.com/help/webmasters/

SurveyBot - http://www.whois.sc/info/webmasters/surveybot.html

Пользуйтесь поиском на google.com, ответы получите гораздо быстрее, чем с топика двухлетней давности.

Сенкс. Че то я не догадался на гугле поискать :) Все гениальное просто :D