Как отслеживать заходы ботов?

Отслеживайте по статистике сервера.

Обратитесь к своему хостеру, и уточните где можно просматривать статистику сервера для Вашего сайта.

Попробуйте вот этот скрипт

Стоит Webalizer Version 2.01.

Где там статистика посещений сайта ботами не нашел.

Может ее нет?

Наверняка существуют готовые скрипты для отслеживания, может подскажите один? :)

Angelo Спасибо!

Это именно то, что и требовалось!

Вот демка этого скрипта. В ней четко видно какой паук когда заходил и сколько трафика скушал.

В Advanced Web Statistics (ссылку выше давал Angelo) можно отслеживать приходивших поисковых роботов.

Upd: опоздал :)

PS: -А что, у всех один и тот же "формат" лог-файлов?😎

di_max, в настройках awstats есть возможность подстраиватся под любой формат логов. Нужно лишь немного в конфиге подредактировать.

По логам. Лучше писать свой скрипт. Или оптимизированный под российские реалии. По той ссылке, что дали, вы выдите в статистике ботов Яндекса, Рэмблера, Апорта, Мэйла, Вебальты и пр.? Я нет.

Например, у Webalizer'а, статистику которого дает мой хостер, есть раздел, где указаны поисковые слова, по которым пользователи чаще всего попадают на сайт. Но опять же эти слова для Google, Yahoo и прочих западных ПС, статистика наших ПС там просто не учитывается.

имхо, единственно правильное решение.

Тем более, что "выжать" из логов можно очень многое для себя...