Вопрос о роботах.

F
На сайте с 22.12.2005
Offline
48
577

Как определить, когда робот последний раз заходил на сайт и какие страницы индексировал?

Наслаждение жизнью - это искусство
Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#1

Flame, анализируйте лог-файлы сайта. Анализатор логов - это один из модулей программы Semonitor, демо-версию которой можно скачать с сайта http://www.semonitor.ru

Кроме этой программы существует множество программ для анализа лог-файлов.

С уважением, Ярослав Деревягин Веб-агентство "Found (http://found-it.ru)"
F
На сайте с 22.12.2005
Offline
48
#2

Yaroslav_Adv,спасибо за ответ!

FlyAway
На сайте с 01.06.2005
Offline
439
#3

Можно в текстовом редакторе открыть лог, набрать название роботота и снизу вверх найти что и когда он кушал.

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
Коля Дубр
На сайте с 02.03.2005
Offline
153
#4

Я, если интересно (обычно, на новых проектах), отлавливаю ботов и пишу в отдельный файл. Типа того:


if (preg_match('/yandex|rambler/', $_SERVER['HTTP_USER_AGENT'])) {
$log = fopen('log.txt', 'a+');
$str = $_SERVER['HTTP_USER_AGENT'];
$str .= "\t".$_SERVER['REMOTE_ADDR']); //на всякий случай =)
$str .= "\t".date('U'); //Unix timestamp, пригодится
$str .= "\t".$_SERVER['REQUEST_URI']."\n"; //кого съели
fputs ($log, $str);
fclose($log);
}

Потом к этому пишется простенький интерфейс, на том же ПХП. Под рукой нету. Но делов на 30 минут. А можно и прямо глазками смотреть, если ботов не шибко много.

Еще, как вариант, установить дополнительный код от liveinternet. Он примерно то же самое делает, только статистику можно смотреть вместе с другими данными счетчика. Где-то у них есть ссылка.

Разрабатываю общую шину (http://habrahabr.ru/company/floxim/blog/268467/) помаленьку. ...а еще у меня есть бложек (http://www.blogovo.ru/).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий