Парсер статей.

firacet, скрипт писался для себя, под собственные нужды, это пока не скрипт парсера как поисковая технология гугл или яндекс и потому учитывало интересы только 2 человек, а не миллионов...

А вообще мы от темы топика отдалились, не стоит уделять так много внимания моей персоне, подскажите лучше ТС чтонибудь ;)

В том то и дело что самоучки, школьники и студенты ))

Почитайте:

http://alexf.name/2008-07-28/eshhyo-pro-mysql/

А действительно серьезные компании юзают Oracle ;) Вы может еще думаете в Яндексе мускуль стоит ? 😆

Вы не правы, я совсем не всезнающий. Просто приходилось работать с базами данных довольно большого обьема под сильной нагрузкой ( писал софт под VoIP - софтсвич )

А по теме: Всегда писал парсер под каждый сайт, не знаю чего так - как-то все руки не доходили сделать универсальный парсер по шаблонам. Ленивый я ;) Кстати есть небольшая коллекция парсеров статеек - если они еще работают могу вам подкинуть.

П.С, Простите за агрессивный тон в предыдущем посте. Что-то на меня нашло - наверное последствия солн. затмения.

А чего тема в дорвееводстве-то?

Если ТС сплог хочет - то этого валом и читабильность там совершенно не обязательна.

Если нужна читабельность и красиво выдранные статьи , то это не в дорвееводство писать надо :). Тогда лучше почитать про регулярки.

Какая разница регулярки/не регулярки? Можете хоть стандартными функциями обработки строк парсить. Главное алгоритм пока толковый не спалили. А по шаблонам - это не совсем авто:o Хотя функционал у парсера VipRaskrutka приятный :)

А я вместо регулярок часто explode'ом вырезаю нудный кусок

$t = explode('начало',$t);

$t = $t[1];

$t = explode('конец',$t);

$t = $t[0];

;)

я регулярками фигачу

30 сайтов генерится чуть более часа в каждом всего около 10 статей

главное чтоб пс их заглатывали и не давились :)

Разница есть. Особенно когда есть гора неуникальных элементов и будет гора уникальных, значение которых мы предсказать не можем.

Впрочем мой пост сводился больше к тому, что если нужен чистенький текст - то нужно затачивать под конкретный сайт/сайты - не будут универсальные решения красиво работать.

По поводу алгоритма толкового под универсальный парсер - я уверен что даже если его спалят, то ТС просто не сможет его реализовать.

универсальный парсер с текстовым конфигом написать не сложно. вот облечь это все в грамотный, удобный и эффективный гуй - вот это реально гемор. Но если вы сделаете подобную вещь, очень немногие решат выложить тулзу в паблик, пусть и за деньги.

если задача - собрать статьи, чтобы использовать их именно как статьи, а не набивка для доров, то полный автомат никак невозможен... лучше потратить минуту на составление регэкспа и в результате иметь базу статей, чем собрать кучу говна на автопилоте, тем более поиск источников статей на автомат тоже особо не поставишь