Бесплатный многопоточный парсер WebArchive в виде плагина для CheckParams

Kost Troll, отчасти соглашусь, что бесплатность относительна. Но я могу с чистой совестью порекомендовать и сам чекпарамс (который пользую еще с бесплатных бет). Лицензия там на 5 лет идет за 10 баксов в год, а со скидкой вообще смешно. А функционал программы настолько широк, что сравнивать с узкопрофильным скриптом несерьезно. Здесь ведь ТС сделал просто небольшой скрипт, который на базе чекпарамс реализует одну функцию. А таких скриптов может быть множество. И когда есть готовый движок, который найдет-прочекает-поддержит актуальными прокси, и хоть в тысячи потоков "пойдет куда скажешь и сделает что скажешь" (а обработку можно хоть вот так брать у других, хоть самому написать) - это мощная вещь.

Хотите верьте хотите нет - но допиливать придется не мало, там большое количества всяких тонкостей, к тому же когда автор дойдет до некоторых из них придется довольно часто править ответы вебархива, ладно не буду автору портить интерес сполерами:), и насчет не будет равных вы слегка погорячились.

Да, вы правы, количество потоков сейчас обновляется только после перезапуска программы. Будет исправлено в следующей версии. На всякий случай приложу скриншот, на котором a - общее число потоков, указанное в настройках, b - используемое в данный момент число потоков.

На данный момент не считает. Если есть такая потребность, могу доработать.

Объединились. Все что хранится в WA в рамках одного года, складывается в одну папку. При этом данные могут перезаписываться. Пока лучшего алгоритма не придумал, можно хоть по дням раскладывать, но тогда совсем тяжело будет собрать в единую версию.

Будет исправлено в ближайшей версии.

Инициатива моя :) Не юзал русскоязычные сайты во время разработки, если мешает жить - исправлю.

Возможно. Опыт работы с вебархивом у меня в самом деле маленький, так что может и в самом деле там много тонкостей, о которых я (а хуже, если ТС) не знаю. Но с точки зрения скорости скачивания предположу, что равных точно не будет. :) Просто потому, что здесь она фактически ничем изнутри не ограничена.

Нужно ведь получить работоспособный готовый сайт. Так что либо сохранять исходную кодировку, либо править в хедере (что было бы диковато).

Mike05,

А вот тут попоброднее pls - откуда такие ценники ????

Вы постоянный покупатель, реселлер ???

Я вот простой смертный и скажем мне нужен именно web archive grabber .

И на данный момент я скажем могу :

а) купить сheckparams за 50 баксов в год

b) купить скрипт от seomoneys за 30 баксов навсегда

Правильно ?

Kost Troll добавил 04.10.2011 в 23:05

И вообще если честно не совсем понятно что представляет собой именно программа checkparams без дополнительных скриптов ???

Как-то куцо совсем про нее написано :

Вся прелесть только в прокси ???

Позволю себе наглость вмешаться в ваш уютненький трёп про мой софт :)

Во-первых, не Вы даже не удосужились глянуть цены на сайте. CheckParams стоит $35 в год или $50 на пять лет. 5 лет - вечность в нашем быстро меняющемся мире 8) Итого $10 в год. Спешу напомнить, что большинство пользователей купило софт со скидкой, ибо действует неплохая система скидок.

Теперь по поводу "скрипта от seomoneys" за 30 баксов навсегда - купив CheckParams, пользователь получает целый комбайн из более 16 встроенных в программу модулей, нескольких внешних скриптов-дополнений и своих (если есть знания и желание) модулей.

Вообще-то я вот сам лично пользуюсь сайтом:

xseo.in

А ежели нужна массовость и прокси тогда может взять вот отсюда бесплатные утилитки :

http://ru-net-biz.ru/index.php/2010/10/16/massovaya-proverka-parametrov-domenov/

Потрудитесь хотя-бы http://checkparams.com/ru/description открыть. Ведь на получение лицензии на CheckParams у Вас как-то хватило сил?

mlu, - заметьте, в топик, касающийся вашей мошной программы я ни словом не вписался, здесь мы обсуждаем :

Бесплатный многопоточный парсер WebArchive в виде плагина для CheckParams

У меня лично возникли вопросы относительно бесплатности данного софта.

Т.е. ожидалось freeware а получилось trialware :)

Коллега, у вас пожелания по работе парсера веб-архива есть? Не вижу причин, почему название не соответствует содержимому. Ведь чтобы запустить какую-нибудь утилиту под, например, Windows, нужно сначала купить лицензию на саму эту Windows, так ведь? :) Но из-за этого же никто не говорит, что утилита на самом деле платная? Или говорит? :)