А почем такое творение продать можно? (контент граббер)

Вот самы йинтересный момент, что значит в педальном?

нормально можно продать, только надо знать где продавать

Отсутствует GUI. Что-то параметрами из консоли, а что-то в xml файлах с конфигами. Что бы кормить генерилку "regexp" надо отобрать сколько-то страниц визуально, а это уже "педали". Если сайт на типичном двигуне и в URL идёт перебор id, то это значительно проще, но это всё нужно контролировать. На выходе получается фактически PCRE, которое нужно чуток доработать руками... в новых парсерах получается кусок php кода с обработками... полный автомат может сделать и можно... ниасилил.

PCRE можно генерировать после каких-то обработок даже. Не обязательно кормить её html... можно кормить обичным текстом. Попробуй выкинуть из страницы все html тэги и ты поймешь о чем идёт речь. Сразу нарисуются эти "Главная Домой Поиск Почта Контакты"... один из обработчиков анализирует повторяющиеся фрагменты, а потом генерит что-то, с помощью чего можно проверить эту страницу на соответствие и потом из неё грабануть.

Есть детектор каких-то блоков... т.е. сначала из страницы автоматически выделяются блоки, а потом уже на каждый блок можно повесить что-то своё. Но конфиги все руками, т.к. если начинаю думать о GUI, то получается что-то совсем грандиозное.

Среди грязных выдиралок есть такие, которые работают по совершенно дибильным алгоритмам... самое главное это то, что они работают. К примеру, самая старая, которая писалась для мониторинга новостей. Она выкидывала все html тэги, а в тексте оставляла какие-то расстояние... ну т.е. там объём выкинутых тэгов и т.д... в промежутке получался текстовый файл, в котором по мимо текста была какая-то дополнительная инфа для обработки... далее тупо брался набор каких-то условий (расстояния между абзацами, длина абзацев, количество поряд идущих... etc) и по этим параметрам выгребалось всё, что отвечает этим условиям + то, что стоит рядом... самое удивительное, когда не надо выгребать чисто, а нужен только контент по теме, этот способ подходит на 100%... а если что-то цепляет лишнее, то нужно пару параметров подкорректировать.

Когда генерируешь рефераты, то можно брать только самые большие абзацы.... как вариант. Или 30% самых длинных абзацев... и т.д. и т.п...

У меня есть модуль, на базе нейронки, который берет всё, что считает нужным. Когда он обучался, то его кормили как хорошим контентом, так и плохим. Не буду озвучивать количество нейронов, но тормозило жутко. Длина слов, расстояния между словами, количество заглавных букв, количество дат, количество слов в кавычках, количество запятых, количество точек, количество предложений... и т.д. и т.п.... в него грузилось всё, что только можно выкусить.. в т.ч. и количество слов, которые не проходили проверку по спелчекеру. Потом что-то выкинулось, какие-то параметры, т.к. нейронка загнулась... выгребает оно более или менее, но не со всех страниц... вопрос в том, а для чего нужен контент.

Т.е. вот возможно качнуть кучу страниц, потом задать какой-то ключ, а потом выгрести что-то, что можно использовать для написания статьи и т.д... когда это писалось, то речи о передиралове не шло... это скорее был инструмент для каких-то копирайтеров.

Представь себе, что тебе нужно обработать сотню статей, которые ты потом в своей аналитике будет как-то цитировать.... на копипасты можно убить цельный день, так же как и на чтение. А тут у нас получается всё красиво... копипастим "реферат" в ms word, потом выкидываем лишнее и пишем коменты.

Выжимка что-ли ?

что за выжимка?

вот про этот реферат и вопрос...На выходе получается выжимка из текстов ?

Нет. Рефератом это называть слегка погорячился (он там в кавычках кстати). Скорее получается склейка из кусков, которые отвечают определенным условиям. Когда нужен контент для собственноручного анализа, то каждый выкинутый кусок может повлиять на результат.

Хотя, если кое что добавить, то думаю какая-то выжимка получаться и будет... в том виде, в котором вы подразумеваете. Т.е. более или менее чистая.

читабельная

да если после грабинга по теме будет выдавать реально ЧИТАБЕЛЬНЫЙ текст- то да вещь стоящая будет

да да интересно отпишись что там за текст получается в итоге

а лучше пример сделанный по принципу: это это и вот это подаем на вход, на выходе получаем вот это.