Парсинг веб-архива

M2
На сайте с 11.01.2011
Offline
341
291

Здравствуйте,

Есть необходимость в парсинге веб-архива. Но не в выкачивании сайтов, а именно парсинге и нахождении статей. Любые тематики, любые объемы. Кол-во - в промышленных масштабах. Чем больше, тем лучше.

Закупиться Proxy / VPN - нет проблем. Несколько потоков - тоже нет проблем. Есть проблема в софте. Есть ли программы, предоставляющие описанную мной функциональность? Т.е. грубо говоря я кидаю список доменов, а мне в ответ, к примеру, страницы, где есть статьи. Ну там уж открыть, проверить на уникальность - дело техники. Но суть в том, чтобы поставить всё это дело на поток.

------------------- Крутые VPS и дедики. Качество по разумной цене ( http://cp.inferno.name/view.php?product=1212&gid=1 ) VPS25OFF - скидка 25% на первый платеж по ссылке выше
S_E_O Алексей - Строительные ссылки
На сайте с 22.07.2006
Offline
314
mark2011:
Есть ли программы, предоставляющие описанную мной функциональность?

Есть гугл, яндекс - там поищите.

⚡ Размещение ссылок на 50 строительных сайтах без бирж: ⚡пакет №5 ( https://searchengines.guru/ru/forum/977443 )⚡пакет №1 https://searchengines.guru/ru/forum/922181 ⚡ пакет №2 ( https://searchengines.guru/ru/forum/925481 ), и ⚡пакет №3 ( https://searchengines.guru/ru/forum/938528 ) .
totamon
На сайте с 12.05.2007
Offline
437
#2
mark2011:
Любые тематики, любые объемы. Кол-во - в промышленных масштабах. Чем больше, тем лучше.

в разделе платных скриптов и программ есть пара решений

/ru/forum/1011758

/ru/forum/982834

Домены и хостинг https://8fn.ru/regru | Дедик от 3000р https://8fn.ru/73 | VPS в Москве https://8fn.ru/72 | Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno | ХОСТИНГ №1 РОССИИ https://8fn.ru/beget
L
На сайте с 16.10.2014
Offline
108
#3
mark2011:
Здравствуйте,

Есть необходимость в парсинге веб-архива. Но не в выкачивании сайтов, а именно парсинге и нахождении статей. Любые тематики, любые объемы. Кол-во - в промышленных масштабах. Чем больше, тем лучше.

Закупиться Proxy / VPN - нет проблем. Несколько потоков - тоже нет проблем. Есть проблема в софте. Есть ли программы, предоставляющие описанную мной функциональность? Т.е. грубо говоря я кидаю список доменов, а мне в ответ, к примеру, страницы, где есть статьи. Ну там уж открыть, проверить на уникальность - дело техники. Но суть в том, чтобы поставить всё это дело на поток.

Есть готовое решение под ZennoPoster пошуршите их форум.

Купить автомобиль из США можно тут (https://us-car.com.ua)
callidus
На сайте с 18.07.2011
Offline
348
#4

mark2011, если закупаться дополнительными примочками не проблема, то почему проблема заказать написание софта под себя, тем более если речь идет о промышленных объемах?

Моментальный сбор семантического ядра и частотности за копейки https://clck.ru/3KYdWE.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий