Как определить паука?

0

mfender

17 января 2005, 00:55

883

Не шибко понимаю я в этом...

Я могу узнать все (в рамках дозволенного) о том, кто зашел на страницу. Но как мне узнать, что на страницу зашел, к примеру, робот яндекс, с очевидной целью проиндексировать ее? Догадываюсь, что эти вопросы здесь уже многократно обсуждались, но мои попытки что-то найти оказались тщетны (я ж не яндекс...:)

A

106

amph

17 января 2005, 01:38

#1

Для начала нужно получить доступ к логам сервера с юзер-агентами. Затем смотришь, кто взял файл роботс: Yandex, Stack Rambler... А потом -какие страницы.

Сайты для людей - не выдумка, а быль. Если считать архитекторов и дизайнеров людьми:)Целевая реклама для целевой группы.

121

Pavlus

17 января 2005, 15:01

#2

amph, было бы инетересно узнать у народа - какими лог-анализаторами народ пользуется.

M

0

mfender

18 января 2005, 05:31

#3

Да. Спасибо. Я-таки разобрался. Логи посмотрел. Сейчас пририсовал себе лого-писалку специально для поисковиков. Т.е. она мне в отдельный лог пишет, когда поисковик заходит. Вот за вчера google 43 страницы посетил. Только логики его не пойму: ладно бы страницы статичные были - но они же динамические, адреса разные. Возникает вопрос: почему он бросается прочесывать ту, а не другую страницу? Поясню: /descr243.htm и /descr87.htm - разные документы, генерируемые одним файлом description.htm. С какой радости он попадает на /description.htm?id=243 ?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Маркетинг для шоколадной фабрики. На 34% выше средний чек

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов