Дорген PandoraBox - вопросы и ответы + апдейты. Часть 2

alexpike
На сайте с 29.01.2012
Offline
177
#261
grot86:


И ещё вопрос. Как понял Пандора генерирует статические страницы, есть ли возможность как-то обновить эти страницы быстро без перегенерации? К примеру у меня будет кнопка BUY стоять с ссылкой на платник, и он перестанет работать, а дорвей ещё будет давать трафик. Есть возможность быстро поменять кнопку на всех страницах?

Это решается с помощью ТДС.

grot86
На сайте с 07.11.2007
Offline
162
#262
alexpike:
Это решается с помощью ТДС.

Действительно неудачный пример, тдску буду юзать в любом случае. А по парсингу не подскажите?

Мой поставщик мобильных прокси: https://clck.ru/38ub3L
R
На сайте с 25.10.2016
Offline
0
#263

Как сократить количество файлов (кроме как сократить кеи и фото и т.д.) ? у хостинга ограничение в 300к файлов. Возможно ли использовать один файл php с большой базой данных (php+sql) ?

TopperHarley
На сайте с 24.03.2009
Offline
350
#264
grot86:
Дорген как понял работает в связке с A-Parser.

Нет, дорген работает без связки с апарсером сам по себе.

Он умеет подключаться к АПИ апарсера, но это совсем не обязательно.

grot86:
1) Я указываю список сайтов допустим 100 штук
2) Парсер сам обирает все страницы каждого сайта, допустим у каждого сайта 1000 страниц, т.е. получаем 100 тыс страниц
3) Парсит контент со всех этих страниц и раскладывает по папкам с названиями сайтов. Текст каждой страницы ложится в отдельные текстовый файл.

Нет, программа работает от файла ключей или от папки с файлами()которые работают как ключи)

realmy:
Как сократить количество файлов (кроме как сократить кеи и фото и т.д.) ? у хостинга ограничение в 300к файлов. Возможно ли использовать один файл php с большой базой данных (php+sql) ?

С некоторыми ограничениями это можно реализовать в виде юзермакроса. Напишите в ТП(тикет)

PandoraBox - генератор #1 ( https://pandoraboxx.ru ) :: ContentBox - Новый многопточный парсер текста,картинок,видео и т.д. ( https://pandoraboxx.ru/contentbox.php ) :: Конвертор шаблонов WP/DLE ( https://pandoraboxx.ru/templateconvertor.php )
install
На сайте с 20.02.2011
Offline
143
#265
realmy:
Как сократить количество файлов (кроме как сократить кеи и фото и т.д.) ? у хостинга ограничение в 300к файлов.

тут не файлы сокращать надо, а хостинг менять.

Лей Бурж Сюда (https://clck.ru/9of9G) VPS/VDS. Бесплатное администрирование 24/7 (http://goo.gl/kmKpNi)
grot86
На сайте с 07.11.2007
Offline
162
#266
TopperHarley:
Нет, дорген работает без связки с апарсером сам по себе.
Он умеет подключаться к АПИ апарсера, но это совсем не обязательно.

Нет, программа работает от файла ключей или от папки с файлами()которые работают как ключи)

Понял мой вопрос наверн нужно было задавать на форуме A парсера а не тут.

TopperHarley
На сайте с 24.03.2009
Offline
350
#267

Ап ContentBox 1.6

Оптимизация работы с капчами - сократился расход капчей

Отчеты о плохих капчах

Добавлена фича автобана проксей

Сейчас парсит 1000 ключей за 7 минут: Google+Yandex

Bing парсится меньше чем за минуту

Это снипеты. Если еще текст, то на сборку и чистку текста уходит еще минут 7..8.

На паблик проксях это. На приватных будет быстрее

--

Замерил:

Это полный парсинг текста+снипетов+тайтлов на паблик проксях двух ПС: яша и гоша

V
На сайте с 04.10.2014
Offline
19
#268

Привет, лицензионная Пандора 2.24, сделал 4 дора с отложенной публикацией на 80 тыс. страниц (50% сразу, 50% отложенная публикация доп. настройки включено только: Динамическая лента RSS и Пинговать ПС ). Соответственно delayeddump.php более 8 мб, сервер стал жрать проц и страницы стали периодически долго открываться. Вопрос: можно ли делить delayeddump.php также как sitemap через Tuning.txt(SitemapSplitSize – По сколько ссылок писать в часть sitemap при разбивке sitemap), или другим способом уменьшить нагрузку при использовании отложенной публикации.

TopperHarley
На сайте с 24.03.2009
Offline
350
#269

SQLite режим для этого сделан

TopperHarley
На сайте с 24.03.2009
Offline
350
#270

Ап ContentBox

1.7 - Релиз прокси чекера

1.6.2 - Доработка работы через https прокси

1.6.1 - Поправки интерфейса программы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий