Скрипт глубины просмотра сайта

ВC
На сайте с 02.02.2006
Offline
463
911

Сделал скрипт, фиксирующий количество страниц, просмотренных каждым посетителем. Всех известных мне роботов (в список набралось больше сотни) отделил через USERAGENT, а уникумов определяю через IP.

Скрипт заработал, и по нему я вижу, что некоторые посетители проводят на сайте по три часа, просматривая десятки, если не сотни, страниц.

Прекрасно, если это действительно люди, которым так интересен мой сайт. Но можно предположить, что это неизвестные мне роботы или же скачивающие сайт качалки. В последнем случае неплохо бы их забанить, но встает вопрос: не может ли под видом пользователя быть какой-нибудь «секретный» робот одной из ведущих поисковых систем (Яндекс, Гуль или Рамблер)?

Есть у этой тройки поисковиков «скрытые» роботы, маскирующиеся под обычного пользователя?

Если есть, то можно ли узнать их IP?

Если такого «скрытого» робота забанить минут на пятнадцать после просмотра им двух десятков страниц, то это не вызовет санкций?

voooz
На сайте с 12.01.2008
Offline
159
#1
Владимир-C:
В последнем случае неплохо бы их забанить, но встает вопрос: не может ли под видом пользователя быть какой-нибудь «секретный» робот одной из ведущих поисковых систем (Яндекс, Гуль или Рамблер)?

Клоакеров же как-то вычислют, не думаю что только по стуку.

ВC
На сайте с 02.02.2006
Offline
463
#2

Вот я и этого слегка опасаюсь...

Правда, есть существенное отличие от клоакинга: я показываю 20 страниц любому IP.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий