WebArchiveMaster - парсер Вебархива

WebArchiveMaster - программа парсинга контента из ВебАрхива. Программа полностью автоматизирована и позволяет разгрузить своё время на 90%. Программа работает в связке с PHP скриптом, который можно поставить на любой хостинг или использовать Open Server - https://ospanel.io (рекомендуется).

Принцип работы очень прост - нужно только вставить домены в текстовый файл и запустить программу - все остальное она сделает сама. Никаких настроек нет, так-как все настроено на максимальную производительность.

Программа работает на Зеннопостер - ссылка на топик: http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/

Спайдер сбора ссылок комментариев для создания своей тематической базы дропов под названием Black Widow Spider. Сбор своей базы дропов по своей тематике. Существует обмен комментариями сайтов по своей тематике, например, на сайте с рецептами комментируют люди, имеющие близкую тематику и оставляют ссылку, ведущую на сайт, это практически сообщество, довольно узкий круг, без залетных.

Для чего это нужно?

Многие сайты уходят в небытие - люди забрасывают сайты, переезжают, меняют работы - и это, как правило, очень хорошие сайты с авторскими текстами - я работаю именно так, только отбираю вручную, отдаю программе и работаю с этими забытыми доменами, руки не доходят автоматизировать, позже приведу пример, если не ясно. А просто скаченный список доменов по ключевым словам - это 80% мусора, который программа перелопачивает, прежде чем наткнутся на что-то стоящее.

Что он делает?

Паук ходит по тематическим сайтам (например, строительной, женской или сайтам другой тематики) и собирает ссылки, находящиеся в никах пользователей, ведущей на их сайт.

Как работает?

1. БОТ берет ссылки с любых сайтов на любой платформе и на любых языках

2. БОТ самообучается - во время поиска ссылок пишет данные всех сайтов, на которые заходил. Если он зашел на Фейсбук или Твиттер и ему там не понравилось, при следующем случайном заходе он сравнит список и на них не пойдет.

3. Примерный принцип работы БОТА (алгоритм очень сложный) - Бот берет данные из файла (начальные URL, которые вы ему скормите, смотрите видео), создает карту сайта из данного урл и начинает ходить по страницам в поисках ссылок, берет ссылки из комментариев и начинает их проверять на ответ сервера, если ответа нет, бот идет в Вебархив и проверяет, есть ли там сайт. Если ответ положительный, смотрит количество ссылок, и если считает, что сайт перспективный, заносит его в список дропов.

Эта программа идет в связке с WebArchiveMasters - спайдер собирает тематические дропы, а парсер берет с них текста. Теперь не нужны списки доменов, программа найдет всё сама.

Программа идет в дополнение к WebArchiveMasters. WebArchiveMasters + Black Widow Spider = 500 рублей. Топик на Зеннолабе: http://zennolab.com/discussion/threads/webarchivemaster-parser-vebarxiva.40540/

Сервер распознавания текстовых капч

Также приглашаю протестировать мой сервер распознавания текстовых капч - топик на Зеннолабе: http://zennolab.com/discussion/threads/server-raspoznavanija-tekstovyx-kapch.41861/

Для купивших комплекс работы с Вебархивом

Цена - 250 рублей\месяц

Для клиентов

Цена - 350 рублей\месяц

---------- Добавлено 06.10.2017 в 15:35 ----------

Здравствуйте. Смысл всего этого - поиск уникальных текстов в вебархиве? Если у меня нет зеннолаба, то я все равно смогу приобрести то, что вы продаете по цене 350р в мес?

Да, разумеется, - это просто сервис решения текстовых капч.

(Почему-то не могу отвечать в личке, пишите тут).