OleksiyP

Рейтинг
44
Регистрация
19.12.2003
Интересы
Computers

> А долларовый банкомат ПУМБ у меня от дома далековато,

> минут двадцать.

Адрес не подскажите данного долларового банкомата?

http://www.mamba.ru

партнерские программы знакомств

http://love.mail.ru

http://love.rambler.ru

http://love.topping.com.ua

и так далее

:-) Извиняюсь. Действительно данный сервис позволяет засчитывать роботов. Беру себе на заметку...

Как писал Mikhael
Так, что другого выхода, кроме как логи вести нет?

Если нужна информация о людях которые заходили на сайт, то такую информацию предоставляет в большей или меньшей мере любая он-лайн статистика.

Однако если нужна статистика по роботам, то пока единственный способ - вести логи веб-сервера.

Я не знаю ни одного сервиса он-лайн статистики, который в состоянии засчитывать заходы роботов. Это связано с техническими ограничениями.

К примеру попробуй из массива с 100 000 элементов удалить дубликаты во время переписывания их во второй массив. Времен уйдет прилично.

А зачем? :-)

Задача: отобразить на счетчике в realtime информацию по уникальным хостам и не засчитывать "открытые" прокси.

Вариант решения: Строим хэш со списком уже найденных роботом "открытых" прокси. Когда идет запрос к счетчику просто проверяем наличие IP клиента в данном хэше. Если он есть - не учитываем запрос, если нет - учитываем. И никакой массив никуда не переписываем. Дальше необходимо проверить был ли заход с этого IP в течении суток для отображения кол-ва хостов на счетчике. Скорость генерации счетчика с учетом всех этих вычислений составляет сотые доли секунды если правильно организовать внутреннюю структуру и сервер достаточно производителен. Хэш "открытых" прокси перестраиваем раз в какой-то период времени.

Я бы сказал, что проблема не в каналах, а непосредственно у провайдера на NS-серверах. Один из вариантов - ошибка в конфигурационном файле.

В любом случае лучше позвонить провайдеру и попросить его выяснить почему на запрос информации о вашем домене их ДНС-сервер матюкается, а на запрос к другим доменам все нормально.

Да, я забыл про это сказать с самого начала. Что я хотел выяснить как устроены счетчики "со всех сторон" и в плане безопасности(защиты от накрутки) в том числе.

ИМХО, я имел ввиду, что более правильная реализация, когда сервис статистики и сервис рейтинга разделены между собой. В частности, заходы через "открытые" прокси в принципе должны учитываться системами статистики для дальнейшего анализа владельцем сайта, но при этом не должны засчитываться в рейтинге.

Но даже если все остальные распространенные прокси не учитываются - то владелец сайта теряет часть информации о своих посетителях - ибо многие пользуются проксями.

См. выше.

Да и много ресурсов системных на проверку уходить будет : это же какждый ip (из миллионов в сутки) нужно будет прогнать по массиву с тысячей элементов на проверку сходства.

По сравнению с тем, какие ресурсы тратятся на обработку запросов и генерацию статистики, затраты на поиск "открытых" прокси не такие уж большие.

В принципе робот не напрягаясь в состоянии проанализировать в сутки от 5 миллионов уникальных IP адресов. При генерации же счетчика проверить есть ли IP адрес в базе "открытых" прокси не сложно и не долго.

Угу пишеться скрипт который перебирает поочередно прокси и запрашивает через них этот документ пару раз. В итоге статистика сайта получает от 100 дополнительных уникальных постеителей, 200-300 НЕуникальных заходов.

Вообще-то изначальный вопрос не имеет никакого отношения к данному замечанию. И тем более не имеет отношения к системам статистики.

Если же переходить на рейтинги, то такой вариант перебора открытых прокси отслеживается роботом и такие заходы впоследствии не учитываются. Поэтому один-два раза накрутить можно, но пользы от этого большой не будет. А если очень наглеть, то могут же и выкинуть из рейтингов :-)

Да, это правда, насколько я знаю.

12 3
Всего: 29