Мой сайт проиндексирован многими

12
C
На сайте с 17.02.2001
Offline
19
1610

Мой сайт проиндексирован многими поисковиками. А как узнать когда робот посетил последний раз мой сайт?

Если можно подробнее. Сам, пока, не спец в терминологии и других науках.

Только жизнь скажет кто из нас был прав...
K
На сайте с 31.01.2001
Offline
737
#1

А как узнать когда робот посетил последний раз мой сайт?
Если можно подробнее.
Просто посмотреть в логи веб-сервера, если они доступны, конечно.
Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
R
На сайте с 06.03.2002
Offline
102
#2

Просто посмотреть в логи веб-сервера, если они доступны, конечно.

А где логи можно посмотреть? На сайте моего хостера, или как там его - компании, у которой я размещаю сайт?

С уважением, Павел Соловьев

С уважением, Павел
K
На сайте с 31.01.2001
Offline
737
#3

Да, на сервере хостера. Хотя бесплатные хостинги доступа к логам обычно не предоставляют (видел только у Агамы на hut.ru и h1.ru). А у платных это должно быть, опять же, как правило.

R
На сайте с 06.03.2002
Offline
102
#4

А в каком они виде? Там IP-ишники храняться? Кстати, как IP серваков узнать-то?

И еще, можно узнать с какого поисковика ко мне пользователь зашел?

Хостинг платный.

[Удален]
#5

Originally posted by Rainbow:
А в каком они виде? Там IP-ишники храняться? Кстати, как IP серваков узнать-то?
И еще, можно узнать с какого поисковика ко мне пользователь зашел?
Хостинг платный.

В логах есть поле user-agent, оно у каждого робота свое. Список их есть в статье на этом сайте , для анализа лог-файлов надо взять какую-нибудь программу, мне вот очень нравится Sawmill скачать можно тут , правда она шароварная так что, как перестанет работать, придется в Митино ехать, если в переходе метро не найду

С какого поисковика зашел - это в программе анализа логов смотришь список ссылающихся серверов (погрешность, правда, есть - дело в том, что если посетитель ввел в поле адреса твой сайт, то у тебя в лог запишется, что он пришел с сайта, на котором находился до этого).

Если будешь пользовать программу Sawmill, то также узнаешь, по каким запросам пришли посетители с зарубежных поисковиков. Программу, которая умеет то же самое по нашим выдавать я еще не нашел (кстати, кто знает, поделитесь информацией плз)

С уважением, Алексей

LM
На сайте с 30.11.2001
Offline
71
LiM
#6

Originally posted by Interitus:
Если будешь пользовать программу Sawmill, то также узнаешь, по каким запросам пришли посетители с зарубежных поисковиков. Программу, которая умеет то же самое по нашим выдавать я еще не нашел (кстати, кто знает, поделитесь информацией плз)

После не сильно долгих, но, увы, безуспешных поисков написал такую сам. Писал на коленке и доделываю по мере необходимости... Примитивная штука, однако - неужели сложно такую же написать самому?..

------------------

С уважением,

Андрей Хроленок.

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)
[Удален]
#7

Originally posted by LiM:
Примитивная штука, однако - неужели сложно такую же написать самому?..

Дык ить лень-матушка

Вообще насколько я понимаю, это можно наколбасить простейший скрипт на том же перле, который записи лога через odbc сливает скажем в аксесную базу, и там с ними делается все что угодно вообще без всякого программирования, а если не ресолвить имена хостов по айпишникам, то больше ничего для счастья и не надо... Вопрос один: какие тут подводные камни? Если все так просто, то почему таких вещей в готовом виде нету? Спрос-то явно есть...

------------------

Алексей

AiK
На сайте с 27.10.2000
Offline
257
AiK
#8

Есть и модуль Perl для анализа апачевских логов, есть и программы готовые.

Но здесть ситуация примерно такая же как и с редакторами - понаписано их очень много, но одной, которая включала бы все функции нет.

LM
На сайте с 30.11.2001
Offline
71
LiM
#9

Вопрос один: какие тут подводные камни? Если все так просто, то почему таких вещей в готовом виде нету?

Все подводные камни зависят от того, что тебе надо получать в отчете.

К примеру, у меня из логов выцепляются следующая инфармация: дата, ip-посетителя, название поисковика, номер страницы результатов, где была ссылка, текст запроса, адрес, куда пришел посетитель, адрес страницы результатов.

Тут очень большая затырка была с тем, чтобы правильно достать из логов название поисковика, номер страницы результатов и текст запроса. Каждый поисковик как-нить по своему изгаляется с хранением этих данных в адресе. Например, у Рамблера есть три известных мне скрипта, которые могут искать как по интернету, так и по Top100. Приходится сваливать сначала все такие адреса в одну кучу, а потому уже разбирать по другим признакам, откуда нас нашли...

Делается все, действительно, очень примитивно. Писалось на Perl, занимает от силы пару килобайт. Отчет выдает в простой текстовый файл...

А на Аксессе у тебя мало что получится понять из этих логов... Тем более, что там с нужной т.з. очень много мусора будет. Ну на кой тебе нужны отчеты о блужданиях народа внутри сайта?..

---

С уважением, Андрей Хроленок.

[Удален]
#10

Originally posted by LiM:
Тут очень большая затырка была с тем, чтобы правильно достать из логов название поисковика, номер страницы результатов и текст запроса. Каждый поисковик как-нить по своему изгаляется с хранением этих данных в адресе.

Поделишься?

------------------

Алексей

[This message has been edited by Interitus (edited 12-03-2002).]

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий