TopperHarley

TopperHarley
Рейтинг
350
Регистрация
24.03.2009

Ап ContentBox 1.9

Пользовательские парсеры

Ап ContentBox

1.8.3

Макросы [GOOGLEARTICLE]/[BINGARTICLE]/[YANDEXARTICLE] теперь выводятся с разбивкой на параграфы.

Добавлены макросы уникального для страницы снипета: [PUNIQGOOGLESNIPMIX-3]/[PUNIQBINGSNIPMIX-3]/[PUNIQYANDEXSNIPMIX-3]

1.8.2

Добавлена экстра чистка картинок по стоп списоку. Правила вносить в файл ContentBox.Clean.Image.txt

Добавлена настройка интервала перепроверки проксилиста

1.8.0

В прокси чекер добавлена функция поиска прокси листов

Улучшения работы прокси чекера

С новой фичей проксичекера проблема проксей практически решена.

Берем из своего последнего проксилиста 3 прочеканных рабочих проксика и чекер спарсит с гугла проксилисты с этими живыми проксями.

И все эти проксилисты становятся нашими источниками, которые тут же чекаются и дают буквально за 3..4 минуты >100 живых проксей

vastmanager:
А отдельно модуль добавления доменов в ISP манагер можно купить? В основном интересует можно ли им массово псевдонимы (алиасы) добавлять в ISP 5. Дорген у меня свой, а вот всякую удобную обвеску я бы взял.

Привет. Не, это ж плагин к пандоре. Его отдельно никак не купить, не запустить.

vip_pvl:
Топпер, сними видео на русском для ContentBox, с русскими кеями.

ОК, записал.

Напаршенные данные в этом видео: https://www.sendspace.com/file/as7mhq

---------- Добавлено 28.10.2016 в 20:03 ----------

vip_pvl:
Я затестил на 10-ти ключах, но ни ютуб-макрос, ни один картиночный макрос не сработали. И нужно, чтобы текст чистился на лету, т.к. получается очень грязный.

Макросы сработают если есть полная версия, в демо - нет.

А насчет текста - не вижу никакой грязи, вот я прикрепил выше архив напаршенных данных.

Что там нужно на конкретных примерах из этого архива дополнительно почистить?

kxk:
TopperHarley, Сделай пожалуйста в аплоад менеджере архиватор встроенный, чтоб можно было скормить ему кучу папок он их содержимое растасовал по архивам и лил, если генеришь не Пандорой очень неудобно.

Уже есть. Указывай путь не до архива а до папки. Все ее содержимое сначала упакуется автоматически, зальется и распакуется.

---------- Добавлено 27.10.2016 в 21:41 ----------

kxk:
если генеришь не Пандорой очень неудобно.

И кстати вот тут еще ошибка. Генерить надо пандорой

Ап ContentBox

1.7 - Релиз прокси чекера

1.6.2 - Доработка работы через https прокси

1.6.1 - Поправки интерфейса программы

SQLite режим для этого сделан

Ап ContentBox 1.6

Оптимизация работы с капчами - сократился расход капчей

Отчеты о плохих капчах

Добавлена фича автобана проксей

Сейчас парсит 1000 ключей за 7 минут: Google+Yandex

Bing парсится меньше чем за минуту

Это снипеты. Если еще текст, то на сборку и чистку текста уходит еще минут 7..8.

На паблик проксях это. На приватных будет быстрее

--

Замерил:

Это полный парсинг текста+снипетов+тайтлов на паблик проксях двух ПС: яша и гоша

grot86:
Дорген как понял работает в связке с A-Parser.

Нет, дорген работает без связки с апарсером сам по себе.

Он умеет подключаться к АПИ апарсера, но это совсем не обязательно.

grot86:
1) Я указываю список сайтов допустим 100 штук
2) Парсер сам обирает все страницы каждого сайта, допустим у каждого сайта 1000 страниц, т.е. получаем 100 тыс страниц
3) Парсит контент со всех этих страниц и раскладывает по папкам с названиями сайтов. Текст каждой страницы ложится в отдельные текстовый файл.

Нет, программа работает от файла ключей или от папки с файлами()которые работают как ключи)

realmy:
Как сократить количество файлов (кроме как сократить кеи и фото и т.д.) ? у хостинга ограничение в 300к файлов. Возможно ли использовать один файл php с большой базой данных (php+sql) ?

С некоторыми ограничениями это можно реализовать в виде юзермакроса. Напишите в ТП(тикет)

Ап ContentBox

1.2.5 - Доработки вывода статистики

1.2.4 - Поддержка сессий

1.2.3 - Доработки в переводе на английский

Всего: 2916