А почем такое творение продать можно? (контент граббер)

12
K
На сайте с 24.03.2004
Offline
223
#11
greenwood:
читабельная

Да более чем читабельно, но при грязном выдиралове какие-то предложения и абзацы может просто не выкусывать. Т.е. если выдирать на основе процентного соотношения длины абзацев и цеплять соседние мелкие, то какие-то куски текста просто не цепляет... вполне логично.

Педали заключаются в том, что в этом случае самые универсальные параметры из каких-то сайтов не всё выкусывают, а у некоторых, у которых слишком добротные анонсы, цепляют лишнее. Есть алгоритм который определяет сердцевину, а потом идёт на сколько-то выше и ниже... иногда спасает.

Это на столько просто, что сорцы даже стыдно показывать.

Чуть попозже какие-то примеры могу скинуть. Основная вкусность это генерация regexp, т.к. все остальные обработки любой phpшник может написать на коленке... даже с нейронкой.

Посмотри на текст в атаче, который после обычного strip_tags.

Самое грязное, как раз с REGNUM :D выдаёт:

МИД России обеспокоен напряженностью в зоне грузино-осетинского конфликта
Российский МИД серьезно обеспокоен ростом напряженности в зоне грузино-осетинского конфликта, сообщает "Эхо Москвы". За последние сутки, в зоне грузино-осетинского конфликта произошло две перестрелки, в результате погибли 4 человека.Как сообщает НТВ, по данным МВД Южной Осетии, огонь велся с грузинской стороны, но Тбилиси заявляет, что это осетины открыли стрельбу по блокпосту, расположенному в селе Эргнети. В правительстве Южной Осетии уверены, что грузинская сторона готовится к военной операции. Обстрел южной окраины Цхинвали начался около полуночи. Огонь открыли по посту МВД Южной Осетии. В Комитете информации и печати республики говорят, что стрельба велась со стороны грузинского селения Эргнети из пулеметов и гранатометов. Только после того, как осетинские милиционеры начали отстреливаться в ответ, пальба с грузинской стороны прекратилась."Эхо Москвы" сообщает, что российский МИД призывает к сдержанности власти Грузии и Южной Осетии. В МИДе подчеркивают, что готовы содействовать сторонам в поиске решения

Ну почему-то у многих новостников есть такая особенность... imho многие уже поняли о чем идёт речь. Полезная такая особенность блин... 😂 Новостники, которые в списке ya.news, на которых такой особенности нет... они короче какие-то совсем не существенные. Как правило, это какие-то регионалы с шизанутой версткой... но благодаря продвигателям они к таким особенностям рано или поздно приходят. Это очень даже хорошо, что есть большая масса людей, которые делают текст удобным как для поисковика, так и для выкусывания простейшими алгоритмами.

Если покажу аля RegExp, который выдал другой обработчик, то некоторые зальются смехом... 😂 кто-то может писать своё, но у меня просто на руках уже готовое... своё... родное... 😂 Ценность подобного как раз в api, в удобстве интеграции, доработке и т.д... больше всего крови выпила работа с сокетами в non-blocked из php, а так же влияние на run-time, а всё остальное это мелочи жизни.

ЗЫ. Вот уже что-то фактически подарил... продавать же в сорцах буду... рано или поздно по сети загуляет. А сейчас может в благодарность какой-то креатив кто-то подскажет.

txt stip.txt
проверенная ддос защита (http://ddos-protection.ru) -> http://ddos-protection.ru (http://ddos-protection.ru), бесплатный тест, цена от размера атаки не зависит.
K
На сайте с 24.03.2004
Offline
223
#12

какие-то демы еще нужны?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий