Бесплатный многопоточный парсер WebArchive в виде плагина для CheckParams

M
На сайте с 09.02.2008
Offline
68
mlu
#81
iamask:
Есть ли кто восстанавливает сайты из вебархива платно именно этим скриптом? ) В личку плиз, если есть. Спасибо.
Скрипт рекомендовали именно этот, потому именно тут спрашиваю именно кто этим скриптом восстанавливает. Ау. )

А почему сами не попробуете? Первый месяц использования же совершенно бесплатный, за это время можно тысячи сайтов скачать :)

Всё, что нужно сделать - скачать дистрибутив парсера вебархива и добавить туда экзешник чекпарамс с лицензией.

[Удален]
#82

Скрипт интересный. Но странно работает.

За вчепашний день удачно восстановил несколько сайтов из веб-архива.

А сегодня все перестало работать - потоки парсинга не запускаются.

Обновил версию на 1.342 - также не запускает потоки. Сам сайт веб-архива доступен.

Насчет просмотра полученного кода тоже есть проблемы - большая часть восстановленных сайтов

не открывается на сервере (использую денвер локально).

Похоже, что индексный файл не видит адресация, ипи он не записался просто.

M
На сайте с 09.02.2008
Offline
68
mlu
#83

Похоже, что с этим придётся разбираться мне, автор скрипта своё творение вообще забросил.

Скиньте, пожалуйста, логи из окошка программы с момента запуска и до состояния, когда потоки не запускаются.

Там достаточно мышкой выделить и скопировать, скриншоты не надо делать.

Новую чистую версию модуля с сайта не пробовали? Тот же результат?

[Удален]
#84
mlu:
Похоже, что с этим придётся разбираться мне, автор скрипта своё творение вообще забросил.

Скиньте, пожалуйста, логи из окошка программы с момента запуска и до состояния, когда потоки не запускаются.

Там достаточно мышкой выделить и скопировать, скриншоты не надо делать.

Новую чистую версию модуля с сайта не пробовали? Тот же результат?

Лог работы скинул по частям в личку. Новую версию пробовал ставить на другой комп - все то же... Не создает потоки. Все по нулям пишет:

Threads: 0/0, speed: 0.00 urls/sec., work time: 0 sec., urls processed: 0, urls failed: 0, urls remains: 0, checking now: 0, exp: 00:00:00

При этом грузит процессор и память, т.е. пытается работать... и в логах движение есть.. Неплохо бы сделать, чтобы индексный файл сайта первым пытался восстановить... Скрипт, похоже, тянет все в случайном порядке и может много скачать из копий сайта, забыв индекс, но без индекса все это бесполезно...

Да, если все безглючно заработает, лицензию точно буду оплачивать. Очень нужный скриптик...)))

M
На сайте с 09.02.2008
Offline
68
mlu
#85
vastmanager:
Лог работы скинул по частям в личку.

Не в личку, а в паблик, посмотрите на флуд у меня в профиле :)

vastmanager:
Не создает потоки. Все по нулям пишет:
Threads: 0/0, speed: 0.00 urls/sec., work time: 0 sec., urls processed: 0, urls failed: 0, urls remains: 0, checking now: 0, exp: 00:00:00

Потоки создаёт, работает, Вы раньше времени паниковать пытаетесь, похоже, что просто большие сайты попались. Смотреть надо на эту строчку:


Request pool threads: 25/25, request objects allocated: 2438, requests in queue: 2412, total requests queued: 2482, processing now: 25

Я рекомендую подождать некоторое время, пока программа всё разгребёт и скачает.

[Удален]
#86
mlu:
Не в личку, а в паблик, посмотрите на флуд у меня в профиле :)



Потоки создаёт, работает, Вы раньше времени паниковать пытаетесь, похоже, что просто большие сайты попались. Смотреть надо на эту строчку:


Request pool threads: 25/25, request objects allocated: 2438, requests in queue: 2412, total requests queued: 2482, processing now: 25


Я рекомендую подождать некоторое время, пока программа всё разгребёт и скачает.

Паниковать не наш метод.😂 Просто скриптом пользуюсь второй день всего, пытаюсь разобраться что к чему. Спасибо за консультацию.

M
На сайте с 09.02.2008
Offline
68
mlu
#87

Появилась новая версия граббера. Исправлена некорректная обработка списка сохраненных копий страницы. Ошибка проявлялась на некоторых сайтах.

http://checkparams.com/ru/download

[Удален]
#88

Запросил лицензию сегодня

ник wh61

лицензия не пришла (почтовый ящик на QIP-mail почте)

M
На сайте с 09.02.2008
Offline
68
mlu
#89
wh61:
ник wh61
лицензия не пришла (почтовый ящик на QIP-mail почте)

Проверил логи - она была успешно отправлена, пока никаких сообщений от почтового сервиса о невозможности доставить не приходило. Проверьте папку со спамом, может быть туда случайно попало.

[Удален]
#90
mlu:
Проверил логи - она была успешно отправлена, пока никаких сообщений от почтового сервиса о невозможности доставить не приходило. Проверьте папку со спамом, может быть туда случайно попало.

Проверил! Ничего нет, ну, видимо косяки в почте.

Если можно, пожалуйста продублируйте на другой ящик (отправил в личку)

P.S. Проблема решена, спасибо mlu

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий