Загружается ли liveinternet.ru для парсинга больших объемов данных? - Сервисы и программы для работы с SE

Программа сбора статистики LI или как приумножить свой трафик

SeWork · 2008-12-10T10:01:50.0000000Z

Приветствую участников форума. Хочу предоставить вашему вниманию дэсктопную программу - TrafficWeb. TrafficWeb - это программа предназначена для сбора статистики от LiveInternet. Имея на руках эти данные, вы сможете отслеживать динамику посещаемости вашего ресурса: по каким ключевым словам пришел пользователь с какой поисковой системы с какого региона точка входа на сайт общее количество переходов со всех поисковых систем в целом или по отдельности Но главная цель программы увеличить ваш трафик в несколько раз. Возможности программы: авторизация в сервисе LiveInternet.ru (если статистика закрыта паролем) парсинг точки входа (на какую страницу вашего сайта был переход) парсинг ключевых слов, по которым перешел пользователь с поисковых систем парсинг количества уникальных переходов (с любой поисковой системы по отдельности, или суммарное количество) в настройках есть возможность указания периода, за который следует парсить статистику также возможность указать регион, парсить будет только статистика по выбранному региону (функция будет полезна фирмам или организациям, ведущие свою деятельность в определенном регионе; например магазины, продающие товар только по Москве и т.д.) возможность указания таймаута между запросами, так как LI ставит ограничения (не более 1 тыс. запросов за 10 минут) бесперебойная работа программы (при обрыве связи, работа просто приостанавливается, после того как подключение с интернетом восстановлено, программа начинает работать с того момента, на котором закончила) экспорт результатов в удобном для вас виде, с предварительной сортировкой и выбором формата *В разработке: многопоточность, что позволит существенно увеличить скорость работы программы (в данный момент скорость - 1 ключевое слово за 0,8-1 сек) поддержка прокси, для каждого потока в отдельности, если скорость сбора информации превысит 1 тыс. запросов за 10 минут автоматическое сохранение результатов через заданный промежуток времени или количества запросов (в случае перезагрузки компьютера или другого збоя, вы не потеряете готовые результаты) ведение логов, для запоминание программой уже спарсенных результатов; появится возможность поставить парсинг на паузу и закрыть программу, а продолжить парсинг в любое другое время **В планах: возможность работы со всеми параметрами статистики liveinternet в самой программе, в более удобном виде внедрение инструментов выборки и группировки по заданным параметрам и суммарная статистика (точка входа, ключевые слова, хосты, хиты и прочее) поддержка работы с другими сервисами статистики, такими как Google Analytics, Rambler, Mail инструменты для работы с ключевыми фразами, выборка с сохранением полей: количество хостов, точка входа (одинаковые будут группироваться), поисковых систем и региона * - при каждой доработке цена будет повышаться, обновления бесплатные ** - такие существенные изменения в программе и доработки естественно будут платными, а сама цена программы увеличена в несколько раз, существующим покупатели надо будет всего лишь доплатить разницу между новой и старой ценой.(со скидкой 25%) Программа будет полезна, не только оптимизаторам ведущие проекты заказчиков, но и вебмастерам, которые раскручивают только свои ресурсы (как русские, так и зарубежные) Программе требуется наличие Net Framework 2.0 или выше. Стоимость программы: 40$ *Первая лицензия программы будет стоить всего 0,01$ (для форумчанина с репутацией не менее 20 тыс, и датой регистрации не менее года, с обязательством оставить отзыв) *Последующие 5 лицензий обойдутся всего в 25$ * - для покупки по спец цене, необходим промо код, который вы можете получить отписавшись в топике или в ПМ >>>Купить программу<<< Перед покупкой у вас есть возможность протестировать демо версию ~117кб (ограничение в 25 ключевых фраз, без возможности экспорта) Скриншоты (~120кб) Официальный сайт программы: http://trafficweb.ru/ Все ваши вопросы или предложения можете писать в топик, мне в ПМ, ICQ 482716031, или e-mail: trafficwebru[собака]gmail.ru. По технической части пишите программисту: ICQ 412523641

120

!FrykT

6 ноября 2009, 18:38

#171

flash.ocx не требуется и никогда не требовался, нужен только NetFramework не ниже версии 2.0

S

300

strefapl

6 ноября 2009, 18:46

#172

Да. Кнопочки нажал, где надо?

Оу, йэс, Сайко, ты мя раздуплил.

15 жирных вечных ссылок с трастовых сайтов с высоким ТИЦ ( https://goo.gl/zd62Qa ) Найдем и устраним SEO-ошибки Вашего сайта, которые мешают продвижению ( https://goo.gl/gHsx1U ) Высококачественный рерайтинг: 50 р. / 1000 знаков ( https://goo.gl/5xDmhE )

445

Таггу x_x

7 ноября 2009, 16:07

#173

Ололо! Что-то как-то подглючивает! Не логинится в лирушечку!

☠️☠️☠️

[Удален]

7 ноября 2009, 19:31

#174

Tarry:
Ололо! Что-то как-то подглючивает! Не логинится в лирушечку!

Лирушечка не подбанила?

133

SeWork

7 ноября 2009, 20:18

#175

Tarry:
Ололо! Что-то как-то подглючивает! Не логинится в лирушечку!

Без подробностей ничего не могу ответить. Задам лишь пару вопросов, загружается ли liveinternet.ru, нет ли бана IP, правильно ли введен пароль (учитывая регистр, спец символы и т.д.), не парсит все запароленные сайты, или только какой-то один?

По поводу таймаутов, сегодня закончил эксперимент, в данный момент рекомендуемые таймауты для парсинга больших объемов данных - от 2000 до 6500 мс, на таких таймаутах парсило больше 35 часов, бана IP не наблюдалось.

Ссылки продаю по баснословным деньгам на буржуйской бирже (http://feeds.tr0e.com/?a=20818)

Cloudflare стал выдавать сайту Google: сайты на Shopify Состоялся запуск сервиса Page

[Удален]

7 ноября 2009, 20:55

#176

SeWork:
По поводу таймаутов, сегодня закончил эксперимент, в данный момент рекомендуемые таймауты для парсинга больших объемов данных - от 2000 до 6500 мс, на таких таймаутах парсило больше 35 часов, бана IP не наблюдалось.

Просьба внести эти данные на сайт в "мануал". (для семинара надо :))

323

234sha

8 ноября 2009, 14:38

#177

Тестирую демку и не могу понять, у нее ограничение по кол-ву слов есть (20 штук) какое-то? Потому как на сайте написано что экспорт не возможен, а про 20 слов ничего...

Люби жену, родителей, вино, быстрые тачки и бокс.

133

SeWork

8 ноября 2009, 15:40

#178

234sha:
Тестирую демку и не могу понять, у нее ограничение по кол-ву слов есть (20 штук) какое-то? Потому как на сайте написано что экспорт не возможен, а про 20 слов ничего...

Все верно, в демо версии ограничение на количество ключевых фраз (20) и отсутствие экспорта. Прошу прощения, действительно, забыл упомянуть это на сайте, сейчас добавлю.

Просьба внести эти данные на сайт в "мануал". (для семинара надо )

Дописал.

323

234sha

9 ноября 2009, 15:07

#179

SeWork, если пользователь выбрал регион, то и вордстат следует показывать для этого региона а не общий.... Т.к. в данном случае его интересует не обобщенная информация.

ГП

208

граф П.

10 ноября 2009, 09:22

#180

Tarry:
Ололо! Что-то как-то подглючивает! Не логинится в лирушечку!

грешил на прогу, пока не решил залогиться ручками... лиру не пускал ;)

Делаю так:

1. Парсить -2500 слов

2. Таймаут 500-2000

Начинает парсить... Счетчик показывает, что сканироваться будет 9900 слов и отрубается сканирование после первой сотни.

Увеличить таймаут или что? Почему счетчик не верно показывает?

граф П. добавил 10.11.2009 в 13:01

увеличил таймаут от 2000 до 6500 мс

точка входа определяется через раз,

позиции в Я из 100 определились 3

на 101 слове - программа перестала парсить

В чем траблы?

Куплю сайт с доходом от 100кр.(не от ссылок).

Страницы в индексе, но Вышла новая версия SiteAnalyzer Вышла новая версия программы

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Переиграть и победить: как анализировать конкурентов для продвижения сайта

Программа сбора статистики LI или как приумножить свой трафик