Скрипт сбора статистики с liveinternet.ru

B
На сайте с 23.10.2006
Offline
170
#11
devzev:

Предложения по доработке:
1) Было бы неплохо в общую табличку выводить приходы с поисковых систем (хотя бы только с Яндекс, Гугла и Рамблер).
2) Вообще было бы замечательно разбивать списки всех сайтов на группы. Например я забил всё в файлик и сегодня меня интересует статистика посещений только клиентов, или отдельно глянуть статистику группы сателлитов.

1. Нужно подумать как это отобразить в таблице - нехочу перегружать - что нибудь с раскрывающимся списком, который будет сворачиваться.(если решение такого оформления видели - киньте ссылку посматрю, а то пока сам не встречал)

2. 90% что такого не будет

- это надо оформлять интерфейс управления - а это не мой конек.

Магу вам посоветовать - сделать несколько копий скрипта

stat_klent

stat_sattelit

stat_klint2

и просто в каждом сделать разные файлы настроек.

devzev
На сайте с 13.08.2008
Offline
246
#12
bimcom:
1. Нужно подумать как это отобразить в таблице - нехочу перегружать - что нибудь с раскрывающимся списком, который будет сворачиваться.(если решение такого оформления видели - киньте ссылку посматрю, а то пока сам не встречал)

3 лишних столбца не сильно нагрузят таблицу. Необязательно делать по каким запросам, достаточно просто общую статистику.

bimcom:

2. 90% что такого не будет
- это надо оформлять интерфейс управления - а это не мой конек.
Магу вам посоветовать - сделать несколько копий скрипта
stat_klent
stat_sattelit
stat_klint2
и просто в каждом сделать разные файлы настроек.

Такой вариант неудобен. А можете сделать так: создаём несколько файлов url.txt, а в выпадающем списке выбираем какой "файл сайтов" (назовём его так) ему обработать?

B
На сайте с 23.10.2006
Offline
170
#13
devzev:
3 лишних столбца не сильно нагрузят таблицу. Необязательно делать по каким запросам, достаточно просто общую статистику.

За текущий день? или вчерашний? или за 7 дней?

хочется чтобы можно было посматреть за каждый период, но вот как отображать - пока вопрос.

+это увеличит время выполнения срипта в 2 раза - потребуется загружать ещё 1ну страницу.

devzev:

Такой вариант неудобен. А можете сделать так: создаём несколько файлов url.txt, а в выпадающем списке выбираем какой "файл сайтов" (назовём его так) ему обработать?

ок сделаю.

B
На сайте с 23.10.2006
Offline
170
#14

Новая версия скрипта:

-добавлена поддержка нескольких файлов настроек.

Все файлы создаются по инструкции как в первом сообщение.

PS.

Воизбежание конфликтов скрипта - ложите его в отдельную папку от всего остального.

т.к. идет выборка файлов в папке stat с последующим отбросом служебных файлов с оставлением файлов настроек.

B
На сайте с 23.10.2006
Offline
170
#15

Немного изменил логику поиска файлов настроек.

Теперь скрипт выхватывает только файлы .txt

zip stat.zip
devzev
На сайте с 13.08.2008
Offline
246
#16

Вот спасибо. Завтра потестю.

mendel
На сайте с 06.03.2008
Offline
232
#17

bimcom, неудачное решение с хешем.

Подозреваю что связанно с тем что ты парсишь выдачу ливинета а не пользуешь csv - что опять таки неправильно. :)

ну и пустые строки в конце всегда были бичем простых конфигов - просто сделай проверку на пустую строку. Не нужно напрягать пользователя.

Ну и первую строку с опциональной переменной ты всетаки не пустой оставляй а что-то в нее напиши, чтобы не путались пользователи.

PS: если что - пиши в аську.

mendel добавил 10.12.2008 в 13:29

PS: а еще лучше делать так как здесь

Шутку любишь над Фомой, так люби и над собой. (с) народ. Бесплатные списки читабельных(!) свободных доменов (http://burzhu.net/showthread.php?t=2976) (5L.com) Сайты, All inclusive. 5* (/ru/forum/962215)
B
На сайте с 23.10.2006
Offline
170
#18
mendel:
bimcom, неудачное решение с хешем.
Подозреваю что связанно с тем что ты парсишь выдачу ливинета а не пользуешь csv - что опять таки неправильно. :)
ну и пустые строки в конце всегда были бичем простых конфигов - просто сделай проверку на пустую строку. Не нужно напрягать пользователя.
Ну и первую строку с опциональной переменной ты всетаки не пустой оставляй а что-то в нее напиши, чтобы не путались пользователи.
PS: если что - пиши в аську.

mendel добавил 10.12.2008 в 13:29
PS: а еще лучше делать так как здесь

Без хеша никуда

-иначе нужно хранить пароль в чистом виде, а это не есть норма.

-в добавок придется после ввода чистого пароля делать редирект на страницу в которую добавлять сессию (сессия у ЛИ длится 1н час) а это увеличение времени работы скрипта в 2 раза

Для csv также необходима авторизация, но в csv не отображается статистика за текущий день, а только за предидущие - это БОЛЬШОЙ минус.

А то что не удобно - а куда деваться - зато 1н раз сделал и забыл - ведь не влом было делать несколько сайтов, чтобы потом их мониторить, такчто 5минут правольному конфигу удели можно. (Если комуто уж очень нужно не может настроить конфиг - милости просим в аську)

Проверок нету т.к. скрипт писал для себя, но в будующем сделаю.

PS.

В ссылке что вы указали решения для отображения на1м сайте, тоесть настройка щетчика НА сайте.

И не получится реализовать сбор статистики.

mendel
На сайте с 06.03.2008
Offline
232
#19
bimcom:
-иначе нужно хранить пароль в чистом виде, а это не есть норма.

ваш хеш это тот же пароль.

И если человек знал где его искать, то он будет знать как его использовать.

А вот то что вы держите конфиг открытым для доступа из внешнего мира это точно не есть норма :) Если лень играться с htaccess и тп (мне лично лень в дешевых проектах) то можно делать конфиг в виде:


<?php
GLOBAL $CONFIG;
$CONFIG=array(
'параметр1'=>'значение1',
'параметр2'=>'значение2',
'параметр3'=>'значение3',
'параметр4'=>'значение4'
?>

ну или что-то вроде... да, менее эргономично, зато безопасно.

bimcom:
-в добавок придется после ввода чистого пароля делать редирект на страницу в которую добавлять сессию (сессия у ЛИ длится 1н час) а это увеличение времени работы скрипта в 2 раза

не в два раза, а на сотню миллисекунд для каждого запроса. У вас же многопоточность, так что это не влияет ни на что. Если вы делаете запрос с паролем, то вы получаете редирект на адрес с сессией. поскольку html-кода там нет, то и времени на его обработку не нужно. А вот парсинг html-кода действительно увеличивает время обработки в разы.

bimcom:
в csv не отображается статистика за текущий день, а только за предидущие

Это вам кто сказал? :)

Любимов утверждал что все запросы абсолютно идентичны что в csv что в html...

я правда ему не верю - в csv я получаю больше информации чем в html. :)

опровержение вашего утверждения - http://www.liveinternet.ru/stat/istio.com/index.csv?password=testpass

смотрим данные, сравниваем с тем что в html... :)

bimcom:
В ссылке что вы указали решения для отображения на1м сайте, тоесть настройка щетчика НА сайте. И не получится реализовать сбор статистики.

Странно. У меня получается :)

Вы не любите кошек? Может быть вы просто не умеете их готовить? :)

PS: вы не обижайтесь, я не придираюсь - то что выкладываете свою работу в публик это уже хорошо. Просто не первый день работаю со статистикой ливинета, и ваши не совсем правильные высказывания немного коробят.

B
На сайте с 23.10.2006
Offline
170
#20
mendel:
ваш хеш это тот же пароль.
И если человек знал где его искать, то он будет знать как его использовать.
А вот то что вы держите конфиг открытым для доступа из внешнего мира это точно не есть норма :) Если лень играться с htaccess и тп (мне лично лень в дешевых проектах) то можно делать конфиг в виде:

<?php
GLOBAL $CONFIG;
$CONFIG=array(
'параметр1'=>'значение1',
'параметр2'=>'значение2',
'параметр3'=>'значение3',
'параметр4'=>'значение4'
?>

ну или что-то вроде... да, менее эргономично, зато безопасно.

ТОже можно, об этом не подумал - т.к. о безопасности вопроса не стояло - скрипт делал для локального запуска (на домашнем компе)

mendel:

не в два раза, а на сотню миллисекунд для каждого запроса. У вас же многопоточность, так что это не влияет ни на что. Если вы делаете запрос с паролем, то вы получаете редирект на адрес с сессией.

Попробую, но блин с редиректом возиться нехотелось - ток разбираюсь в ПХП

mendel:

Это вам кто сказал? :)
Любимов утверждал что все запросы абсолютно идентичны что в csv что в html...
я правда ему не верю - в csv я получаю больше информации чем в html. :)
опровержение вашего утверждения - http://www.liveinternet.ru/stat/istio.com/index.csv?password=testpass
смотрим данные, сравниваем с тем что в html... :)

Блин... я всегда думал что статистика для ЛИ в csv это та ссылка которая под графиком (((

Буду знать, а значит переделаю.

mendel:

PS: вы не обижайтесь, я не придираюсь - то что выкладываете свою работу в публик это уже хорошо. Просто не первый день работаю со статистикой ливинета, и ваши не совсем правильные высказывания немного коробят.

Конструктивная критика принята во внимание, не конструктивная замечена небыла :)

=================

Попробовал переделать на разбор csv файла, но одна досадность - там нету сравнения посещаемости относительно вчерашнего дня в данное время (+ столько-то или - столько-то)

Но за счет того что загружать необходимо 1кб вместо 35кб скорость отработки срипта выросла в 4 раза :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий