PandoraBox - вопросы и ответы + апдейты. Часть 2.

способ №1. в пакетке есть ссылка на профиль - из профиля возьмется выбранная тематика

способ №2. раздел "Изменение произвольного параметра в пакетном режиме"

Прежде чем задать вопрос, я удостоверился, что оба способа не работают.

Можно ли сделать так, чтобы можно было макросом {CAT}{/CAT} оборачивать некоторые элементы шаблона несколько раз? Тоже самое хотелось бы и для MAIN и CATITEMS.

Это нужно для того, чтобы скрыть некоторые вещи в {MAIN}, но поскольку элементы шаблона разбросаны по разным местам, то обернуть всё за раз в {CAT}{/CAT} не задев части шаблона от {MAIN} никак не получается, поэтому многоразовый {CAT}, {MAIN} и {CATITEMS} разрулил бы ситуацию.

Продолжаю разбираться с Пандорой. Есть желание докупить «PRO Parser - парсер текста (плагин к PandoraBox)», так как встроенный парсер зависает на больших объёмах, либо ловит отказ гугла (типа «слишком много запросов в вашей сети»).

Есть здесь пользователи, которые активно гоняют этот плагин? Стоит продукт своих денег? Не повторяются ли в нем ошибки встроенного аналога?

orka13, +1 Я тоже хочу сей парсер, тикетка раздражает, хочу возврата к общению по icq

Разве нельзя обернуть весь шаблон отдельно в {MAIN}{CAT}{POST}?

Так можно делать уже давно. Блоки MAIN/CAT/POST/MAP можно юзать неоднократно.

Странно, я вроде проверял и у меня какая-то фигня получилась, первый макрос отработал а второй такой же так и остался в виде текста.

Завтра гляну еще раз.

ТС любезно предложил несколько часов бесплатного теста возможностей плагина «PRO Parser - парсер текста». Вот что получилось из него выжать:

Глюки (мелкие):

1. У меня на Windows 7 при сворачивании окна плагина во время парсинга трудно добиться обратного разворачивания. Приходится несколько раз кликать. Попускает его в момент парсинга страницы гугла (слышно звук-щелчок поиска).

Приятные моменты:

Блокировки без проблем обошлась антигейтом. За час на дефолтных настройках спарсило ~ 15 Мб русского текста. При этом встретилось только две капчи. Дефолтный парсер зависал при встречи капчи, и поэтому успевал собрать обычно до 2 Мб текста (быстрее ее встречал, так как там нет «параметр задержки между обращения в гугл: от и до»).

Потом для увеличения мощи опробовал задержки в два раза занизить и потоков выставил в полтора раза больше. В результате за час спарсило 20 мб, это обработало 130 ключей (по 100 страниц доноров из выдачи гугла под каждый ключ). Причем я уже включил «фича парсинга текста в разные файлы для каждого ключа». Для примера вот один из запросов: «limbo скачать на андроид». Под него создало файл limbo-skachat-na-android.txt.

И того в сумме я за пару часов я спарсил 70 Мб текста, при этом гугл меня не банил, и выдал всего ~10-15 капчей. Так что результатом доволен.

Пожелания в развитии:

1. Добавить возможность задания стоп слов для урлов доноров (*yotube* и т.д.)

2. Сделать строку отображения прогресса парсинга (процентное соотношение), можно с таймером окончания операции).

3. Сделать кнопку сохранения настроек в файл, или указать, как дефолтные настройки подправить. Например, для меня удобно было бы прописать туда свой ключи антигейта, и установить максимальный размер не в 1 мб, а в 100, прописать «Русский» парсинг. А то устал каждый раз при запуске прописывать все это.

4. Добавить в лог интерфейса «Выполнение» временное отображение события (такое же как «ProParserLog.txt», только без даты).

5. Стоило под плагин мануал написать. Например, я не сразу понял алгоритм парсинга. А он такой: программа берет по очереди каждый ключ и парсит текстовки из сайтов на первой странице выдачи гугла (100 сайтов на страницу). Когда все ключи обработаны, она не останавливает парсинг, а проделывает то же, но уже для второй страницы выдачи. И так аж по 10-ую страницу (1000 сайтов-доноров на запрос). Я останавливал парсинг после первого круга.

Затестил макросы. Действительно, можно оборачивать хоть до усера :) Это радует!

Бесит только очередной гемор который возник казалось бы из ниоткуда.

В макрос кат, я вложил {CATITEMS}, для теста вставил слово "тест", сгенерил дор и хз почему, слово "тест" выводится три раза.

Почему выводится три раза три раза три раза? :D

upd

Вру, сейчас еще потестил и кол-во повторов рандомно.