- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Написал вот парсер для Ливера. В принципе писал для себя и особо не заморачивался со всякими проверками и прочими штуками-дрюками. Сейчас немного его подправил и решил отдать в добрые руки.
Функцианал следующий:
1) проверка существования статистики в Ливере;
2) проверка доступность статистики без пароля;
3) поддержка proxy (паблик, приват с логином и пассом);
4) можно выставить слип;
5) парсить можно за период (в conf/config.php стоит ограничение в 7 дней, можно его увеличить на сколько нужно);
6) он умеет парсить Ливер =);
7) что-то еще.
Мана к нему нет, интерфейс итак интуитивно понятен.
Кому надо, берем отсуда.
Если будут баги (а они будут) пишите здесь, будет время исправлю.
Системные требования:
PHP 4 или 5 (парсеру пофигу), Curl, права на запись в папку keys.
Где брать статсы не закрытые паролем думаю знаете, если нет то Вам суда.
Так а для чего это нужно в больших обеъмах?
спасибо, потестирую щас
;4772472']Так а для чего это нужно в больших обеъмах?
Чесно, не понял вопроса =). Парсер тянет кеи по которым заходят на сайт "конкурентов" если статистика не прекрыта паролем.
Все, я понял, спасибо :)
Круто)) Такой софт в паблик выкладывать - респект =)
Баги:
1. Кодировка у календаря UTF-8, а у страницы WINDOWS-1251 - крякозяблы при нажатии на кнопку с выбором даты
2. parser.php - два раза запрос функций OpenStat() и CheckStat() - не гуд, сделай $error переменную и проверяй её в if'е
3. Странная логика в том же файле - вначале пишем кеи в файл (GetLIStat()), а потом проверяем можно ли туда писать?.. о_О
lord_alfred добавил 29.04.2009 в 18:23
4. В функции OpenStat() урл для проверки - "http://www.liveinternet.ru/stat/".$url . "/queries.html" - т.к. есть сайты, где закрыт именно этот раздел.
lord_alfred добавил 29.04.2009 в 18:25
5. Кеи парсятся в UTF-8, нужно добавить селект для выбора кодировки
Круто)) Такой софт в паблик выкладывать - респект =)
Баги:
1. Кодировка у календаря UTF-8, а у страницы WINDOWS-1251 - крякозяблы при нажатии на кнопку с выбором даты
2. parser.php - два раза запрос функций OpenStat() и CheckStat() - не гуд, сделай $error переменную и проверяй её в if'е
3. Странная логика в том же файле - вначале пишем кеи в файл (GetLIStat()), а потом проверяем можно ли туда писать?.. о_О
lord_alfred добавил 29.04.2009 в 18:23
4. В функции OpenStat() урл для проверки - "http://www.liveinternet.ru/stat/".$url . "/queries.html" - т.к. есть сайты, где закрыт именно этот раздел.
lord_alfred добавил 29.04.2009 в 18:25
5. Кеи парсятся в UTF-8, нужно добавить селект для выбора кодировки
Спс за тест, пофиксил, перезалил, ссылка там же.
.:nbd:., мега-респект!
прогнал им сайтик. все хорошо, но вот эти ограничения , только 7 дней ..
выкинь ты эти даты, лутше поставь парсить месяц..вводиш месяц и год. насколько понимаю, там только запрос изменить надо.
и прицепом техзадание.
можно сделать такое:
вводим список запросов.
по ним собираем первую 50 в яндексе, проверяем сайт на установленый счетчик ливера, и если есть пробуем парсить его..и так по списку.
да, не плохо бы что бы была возможность сохранять с колвом запросов по кею.
У меня одного он парсит только 1й день и выплёвывает результат? >_< Битый час сижу пытаюсь исправить его, а он всё равно не хочет парсить дальше 1го дня %(
lord_alfred добавил 29.04.2009 в 22:03
Пля.. Там:
@fclose($fh);
return $keys;
не у той скобки стоит... %((
да, не плохо бы что бы была возможность сохранять с колвом запросов по кею.
К вечеру сделаю. Ограничение в 7 дней снимается в conf/config.php. Вместо 7 ставим 30 и парсим за 30 дней.
lord_alfred, еще раз спасибо за найденые баги, исправленная версия тут (форум не дает отредактировать первое сообщение). Просто изначально писался он для себя и в нем небыло вообще никаких проверок, логики, и т.д. =)