Пользователи и пауки

Немножко оффтопика.

А никто не подскажет, что это за зверь такой?

85.21.249.75 - - [16/Jan/2007:16:25:23 +0300] "GET / HTTP/1.1" 200 41 "-" "-"

В логах апача нет ни юзер-агента, ни браузера, ни ОС…

Сложно сказать...может какой-нибудь школьник-студент тестирует очередной, собранный на коленке, Гугл 😕

Это может быть что угодно, не обязательно паук. Ты hostname посмотри, и все станет ясно.

P.S. Еще бы статейка бы загрузилась для полного счастья....

Еле пробился, сайт еле грузится.

Вообще статья написано явно начинающим. Все это способы не дадут даже близко реальной картины. Многие боты маскируются под пользователей, и наоборот.

Есть только один верный способ - его использует CNStats.

Счетчик состоит из трех частей. Две выполняются на сервере и одна у клиента.

1. В момент обращения к странице собирается общая информация - все что можно взять из запроса и переменных среды - IP, Агент, Адрес, Реферер и генерируется JavaScript код.

2. JavaScript код выполняется на клиенте, определяется включены ли Cookies. Робот скорее всего не будет обрабатывать JavaScript. JavaScript код загружает картинку - счетчик с сервера.

3. Счетчик-картинка проверяет включенность Cookies и идентифицирует пользователя.

Даже если робот и поддерживает JavaScript, то картинку он загружать не станет.

Роботы учитываются на первом шаге, пользователи не третьем.

Заранее извиняюсь если сумбурно объяснил :)

есть програмка , которая по IP инфу выдаёт. Советую. Называется: SmartWhois

Так она ничего не скажет если я на своем сервере запущу индексатор какой-нибудь поисковой системы.

А вот это вы зря. Погрешность вряд ли будет превышать 15-20%, а этого в большинстве случаев хватит с головой обычному пользователю.

Ничего себе мелочь такая - вместо 100 тыс пользователей 80 тыс. А ведь все это выливается в существенную потерю денег или владельцем сайта или рекламодателем.