Программа сбора статистики LI или как приумножить свой трафик

makabra
На сайте с 10.08.2007
Offline
116
#421
SeWork:
Уважаемые пользователи, вышел новый билд программы 109. Пофиксены все ране описанные проблемы, с потоками, Win 7, добавлена бесперебойность.

Во истину, бесперебойность работает! У меня софт "бесперебойно" не находит соединение с Интернет! Что предложите? Билд 109-й.

karlush
На сайте с 26.05.2008
Offline
139
#422
makabra:
Во истину, бесперебойность работает! У меня софт "бесперебойно" не находит соединение с Интернет! Что предложите? Билд 109-й.

присоединяюсь

Требуется контент менеджер на сайт. Пишите в личку
A8
На сайте с 20.10.2005
Offline
71
#423
karlush:
присоединяюсь

Аналогично. На почту уже написал. Пока ответа нет, видимо разбираются.

Отличный хостинг для СДЛ. (http://timeweb.ru/?i=7388&a=1) За 3 года работы нареканий нет. Качественный копирайтинг. (http://advego.ru/63cF4d7fzJ) За 2 года заказано более 2000 статей. Ищу авторов (http://www.etxt.ru/alexdr.html) с медицинским образованием. Присылайте примеры ваших работ.
SeWork
На сайте с 14.10.2007
Offline
133
#424

Уважаемые пользователи, еще раз настоятельно прошу, когда пишите об ошибке, указывайте все данные: ОС, 32\64, ситуация возникновения ошибки, что делали, обстоятельства, вид подключения к интернету (adsl, xdsl, прокси, локальная сеть и т.д.).

Montoya, разные IP к одному домену указываются, если на сервере эти IP прописаны к домену (если вы сами администрируете свой сервер, то пропишите), если нет, то самый простой вариант - закинуть скрипт на каждый домен.

ali82, на почту ничего не получил.

Протестировал, запускаю программу, парсит, таймаут в настройках выставляю 30 сек. И роутер перезагружал, и дайлер реконектил, через 30 сек (1 мин для роутера) парсинг продолжается.

Для решения проблемы нужно больше данных.

Ссылки продаю по баснословным деньгам на буржуйской бирже (http://feeds.tr0e.com/?a=20818)
makabra
На сайте с 10.08.2007
Offline
116
#425

SeWork, проблема возникла после обновления программы. Подключение PPoE, Windows XP SP3 x32. Ситуация банальная: выбираешь "Livinternet экспресс аудит", нажимаешь "Парсинг", программа висит и выдает сообщение "Отсутствует соединение с интернетом"

A8
На сайте с 20.10.2005
Offline
71
#426
SeWork:

ali82, на почту ничего не получил.

Продублировал письмо еще раз. первое письмо в цепочке было от 4 марта 2010 г. 1:35. После этого вы уже писали мне ответ и я вам на него отвечал дважды. После тишина.

AR
На сайте с 13.09.2008
Offline
51
#427
Пару месяцев назад снимал статистику в несколько сотен тысяч запросов - задержка на ли.ру 1.0-1.1 вполне нормально проходила.

Беру свои слова обратно. Сейчас так больше не проходит, на большой скорости получается:

Too many requests from one IP: ххх.ххх.ххх.ххх.
Access denied for 60 minutes.
Limit: 1,000 requests per 10 minutes.
Denial till: Sat, 06 Mar 2010 10:35:08 GMT
Current time: Sat, 06 Mar 2010 10:02:58 GMT

Потому получается, что если в сумме снимать меньше 14000 запросов (столько получается "до бана" на максимальной скорости) - можно ставить минимальные задержки (~1секунда). А если больше - увеличивать.

Кстати, было бы крайне удобно, если бы была возможность это делать в самой программе. То есть запустить счётчик запросов с одного айпи и таймер. При приближению к "верхнему пределу" - засыпаем и ждём, чтобы не забанили. Прошло время - вновь погнали до "края десятиминутки". Так и максимально быстро получится и "нарушать" не придётся.

п.с. а пока "ждём" - можно парсить в ПС напарсенное в ЛИ. :)

Яндекс лучше или Google лучше? Яндекс - доказано Google. (http://noindex.by/meta/chto-luchshe-google-ili-yandeks#comment-5911)
A8
На сайте с 20.10.2005
Offline
71
#428
makabra:
Во истину, бесперебойность работает! У меня софт "бесперебойно" не находит соединение с Интернет! Что предложите? Билд 109-й.

В новом билде проблему исправили. Отпарсил уже 2300 ключевиков, нареканий нет. Раньше была такая же пролблема как у makabra. Сейчас соединение с интернетом стабильное. Билд 110.

AR
На сайте с 13.09.2008
Offline
51
#429

Задержки в LI от 4 до 8 секунд позволили спарсить лишь чуть более сотни тысяч запросов. Установленные "заведомо большие" (8-16 секунд) - спарсилось все (более двухсот тысяч).

п.с. использовался 109-й build, парсинг без мест в ПС.

Montoya
На сайте с 30.09.2006
Offline
139
#430

ali82, а где вы билд 110 взяли, вроде бы последний 109? :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий