можно ли узнать когда бот заходил на определенную страницу сайта?

я по простоте душевной, чтобы не лезть лишний раз в awstats,

в robots.txt делаю

$ip=getenv("REMOTE_ADDR");

$agent=getenv("HTTP_USER_AGENT");

$host = gethostbyaddr($_SERVER['REMOTE_ADDR']);

$date=date("Y-m-d H:i:s");

@mysql_query("INSERT INTO `lala` ( `bot_id` , `bot_date` , `bod_ip` , `bot_host` , `bot_agent` ) VALUES ('', '$date', '$ip', '$host', '$agent')");

а потом уже смотрю что в базу попало

medbratspb, Если не получается разобраться в логах, попробуй эту программу

http://net-promoter.com/ru/loganalyzer/loganalyzer.exe - с её помощью ты во всем легко разберешься, какой бот когда заходил, что сьел, какой код выдал сервер боту и т.д.

спасибо за советы !!!

Все роботы Яндекса имеют в user-agent слово yandex

Легко найти в любом текстовом редакторе, даже в Excel удобно смотреть :-)

Лучше искать "yandex/"

А лучше Семонитор последней версии купить, он и дешевле и удобней )

Здравствуйте.

По поводу лог файлов я хочу приобрести программу для статистического анализа www.can-guru.com демка была очень понравилась. Советую посмотреть может кому подойдет.

С уважением Артем

Стоп. Там , вроде , в анализаторе логов отчёта по паукам пока вообще нет... Или дописал уже Никита ?

Пока, нет, думаю будет в течение месяца где-то (может чуть подольше)

Этот модуль пишу не я, хотя сути это не меняет :-) Сейчас как раз идет работа над добавление пауков в лог-анализатор и добавление в html-анализатор поддержки русского языка

Всего доброго,

Никита Мелькин

Ждем`c. Я думаю сообщите, когда будет готово.