Форум Сайтостроение Статистика и аналитика

анализ логов - выявление ботов.

Rimlyanin
На сайте с 22.02.2006
Offline
200
Rimlyanin
2821

Ув. гуру, помогите ньюбу найти анализатор логов апача, с помощью которого можно было-бы отследить ботов яндекса и гугла.

Интересует что и когда кешировалось.

Спасибо.

Kirill-ss
На сайте с 20.04.2006
Offline
142
Kirill-ss
#1

weblogexpert

Eddie
На сайте с 12.07.2006
Offline
36
Eddie
#2

Бота оперделить не так уж сложно, да и google особо не прячется. Смотрите в логах поле UserAgent.

Но вообще, многие боты прикидываются пользователями, и подставляют туда то же, что и обычный браузер подставляет. Если при заходе на страницу проверяется /robots.txt, то это скорее всего-бот. Люди нечасто его проверяют...

Блог веселого программиста (http://www.bloged.org)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
A5
На сайте с 06.08.2006
Offline
46
Art569
#3

Можно с помощью программы AWStats + дополнительные ExtraSections. Примеры есть здесь.http://www.antezeta.com/awstats.html.

А можно и с помощью команд ОС, например, 

find "Yandex/1" access.log >yandex

В файле yandex собрана информация о посещении твоего сайта Yandex'ом.

i73
На сайте с 08.03.2006
Offline
188
i73
#4

можно вот этим - http://www.it-union.ru/down_prog.php

Rimlyanin
На сайте с 22.02.2006
Offline
200
Rimlyanin
#5

Спасибо, действительно помогло, просто я никогда не заморачивался на то как и что индексят роботы на сайтах, мне достаточно было отчетов webalizer'а а вот клиенту стало интерестно....

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий