Парсер веб страниц по заданному шаблону

_Thor · 2008-11-19T23:03:05.0000000Z

Доброго времени суток! С вебом работаю относительно недавно, до этого позиционировал себя как прикладной программист. Не давно узнал от знакомого, что он написал РУ-синонимайзер и удачно его продает. Вот и я решил попробывать продать свой парсер. Но т.к. я на слышен что парсеров очень много (не знаю что там насчет синонимайзеров), то для начала хочу узнать мнение народа, есть ли перспектива у такого продукта с его функционалом или нет. Опишу что я понимаю под некоторыми терминами: Страничная ссылка - это ссылка на страницу на которой размещается часть списка статей к примеру если список статей размещается на нескольких страницах, т.е. имеет пейджинг. Например: mysite.ru/list.aspx? page=10 Контентная ссылка - это ссылка на страницу непосредственно на которой размещается нужная информация, которую вы хотите скомуниздить. Краткое описание программы: Тут не одна программа, а набор из трех небольших програм. Первая для генерации страничных ссылок (т.е. ссылка остается той же просто меняется цифра номера страницы в параметре) и парсинга страниц по этим ссылкам для получения контентных ссылок. Конечно шаги можно выполнять выборочно. Вторая программа, сам парсер контента. В виде xml файла задается шаблон в котором указываются регулярные выражения с помощью которых и будет поиск нужноой части контента. Т.е. что зададите то и получите. Например: ... <Template> ... <ArticleTitle><![CDATA[ <h2>([\s\S]*?)</h2> ]]></ArticleTitle> <ArticleText><![CDATA[ <div>([\s\S]*?)</div> ]]></ArticleText> ... </Template> ... Полученный контент в формате заданного xml шаблона будет записан в новый файл, только вместо рег. выражений будет помещен сам контент. Пример: ... <Template> ... <ArticleTitle><![CDATA[ здесь будет название статьи 1 ]]></ArticleTitle> <ArticleText><![CDATA[ здесь текст статьи 1 ]]></ArticleText> ... </Template> <Template> ... <ArticleTitle><![CDATA[ здесь будет название статьи 2 ]]></ArticleTitle> <ArticleText><![CDATA[ здесь текст статьи 2 ]]></ArticleText> ... </Template> ... Третья программа для проверки корректности составленного рег. выражения для составления xml шаблона. Возможно минус: Программы на данный момент написаны в виде консольных приложений, т.е. UI как таковой отсутствует, т.к. изначально ориентировался только на себя, ну и с целью экономии времени. И еще программы написаны под платформу .NET 3,5 на C#. Возможно плюс: Для тех кто еще не понял, программа сама достает контент по списку контент ссылок из файла, после парсит полученный html, по пути может почистить от html тэгов (опционально), т.е. работает в полном автоматическом режиме. Так же может работать в несколько потоков (количество можно задавать, а так же паузу между обращениями к серверу), для ускорения обработки заданного списка ссылок, но есть нюанс, некоторые серера можно пригрузить, так что они не смогут обрабатывать ваши запросы, возможно не только ваши. А некоторые просто банят вас на некоторое время. Потому с большим числом потоков баловаться нужно осторожно. Само собой, в таком виде распространять не буду, приклею UI или же оформлю в виде онлайн-сервиса P.S. Для модераторов: извините за длинный пост. Жду отзывов. Спасибо.

_

4

_Thor

21 ноября 2008, 13:27

#11

Я не совсем корректно выразился выше, т.к. на основной работе использую обе версии.

Я не вижу целесообразности использовать в своем основном проекте 2.0 когда уже давно есть 3.5.

Из нововведений использую пока dlinq.

SJ

78

sokol_jack

21 ноября 2008, 14:33

#12

_Thor:
Я не совсем корректно выразился выше, т.к. на основной работе использую обе версии.
Я не вижу целесообразности использовать в своем основном проекте 2.0 когда уже давно есть 3.5.
Из нововведений использую пока dlinq.

Так мы вас тут и убеждаем о целесообразности юзать 2.0 :) Благо делов-то - одно поле поменять. :)

Любимый хостинг (http://beget.ru?id=2902) How can we grow old when the soundtrack of our lives is rock-n-roll?

_

4

_Thor

21 ноября 2008, 15:20

#13

Я думаю целесообразность была высказана выше. И суть ее в совмещении парсер + синонимайзер + самообучаемость и все это в виде вэб приложения.

За одно будет отличная возможность использовать mvc в реальном проекте, а то все никак не было возможности.

Я считаю вэб приложение будет более доступным. ;)

МЧ

24

Максим Ч.

3 декабря 2008, 22:24

#14

Люди я может не в тему спрошу, но всеже прошу откликнуться, я хочу создать страничку с тематическим поиском от яндекс хмл но в вопросах создания програм я полный 0 🙅🙄 вобщем нужно чего то там создать для отсылки хмл запросов подскажите что это и где это взять😕. заранее благодарен.

Дзен реализовал для авторов возможность вывода денег через СПБ

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта