Сервис для новостей на сайт

"Идите товарищ в попу" (крылатое выражение такое есть, не обижайтесь)

Я сейчас у кого угодно буду парсить новости, в наглую, и мне ничего не будет, потому как - "новости не являются предметом авторского права и не могут охраняться законом", это же "новости", а не "научная статья"... (их могли увидеть, узнать, услышать миллионы людей, поди-ка, друг мой, определи первоисточник...)

Так что, Digester, делайте и никого не слушайте, сервис будет полезен...

Ошибся с датами. RSS буде давать с начала рабочей недели, т.е. со среды...

Тестирование сервиса началось.

Всем, кто заказывал какие-либо запросы на email или в ПМ - я отписал ссылки на RSS канал.

Желающие могут так же написать мне заявку с запросом и я подготовлю вам ссылку на RSS с документами.

Завтра сделаю тестовую ссылку и выложу сюда как пример.

Так оно не полную новость берёт а только кусок из РСС - то есть fulltext - нет как я понимаю ?

В том то и дело, что отдает полную новость.

Полный текст лежит в теге description, мы решили туда его класть. Помимо полного текста, мы можем давать и аннотации, но тогда полный текст придется помещать в тег, что-то вроде fulltext.

Мы пока начинаем тестирование, и если большинство будет просить убрать текст из тега description куда-нибудь в другое место, то скорее всего так и сделаем.

А пока, можете заказывать для своих сайтов запросы.

Как и обещал, выкладываю пример RSS, полученный результатом выполнения запроса: "Билайн OR Beeline": http://digester.ru/RSS.aspx?n=TEST

в приведенном примере куча дублей разными словами (в конце).

это только за сегодня или все что было в базе?

Да, это возможно, т.к. мы мониторим сразу кучу источников. Если находим дубликаты - отсеиваем. В данном случае новости действительно разные, одна может дополнять другую. Я бы назвал эти новости "похожими". Приведу пример: Вот в 15-30 появилась новость о том, что кто-то ограбил магазин. Новость появилась в RSS. Через пол часа стали известны подробности этого происшествия. Об этом написало другое агентство в 15-50, ну и естественно с предысторией. А значит уже есть похожесть с новостью в 15-30. Дальше в 16-40 милиция нашла грабителей и об этом написало еще одно агентство. Если так смотреть, то все новости похожие получаются. Сюжет один, а новости разные. Как быть в таком случае? Это же RSS, если новость до вас дошла в 15-30, то например, 16-30 - новость от 15-30 никуда не денется. Мы пока не придумали какую новость из сюжета удалить, а какую оставить... Ведь каждое издательство пишет что-то свое, а значит там может быть что-то новое, чего не написали в предыдущей новости.

В данном тестовом RSS очень много источников, и запрос очень простой. Сразу понятно, что он выдаст большое количество результатов. В нашем случае здесь новости упорядочены по времени (самые свежие наверху). Чтобы как-то сократить количество дубликатов - можно дополнить запрос источниками. Т.е. можно выбрать определенные источники, документы которых вы хотите получать. Или же наоборот исключить некоторые источники.

Надуюсь объяснил я понятно :) и не запутал вас своим примером.

На самом деле, мы уже думали о проблеме с "дублями", но пока этот вопрос не решен. Тем не менее мы готовы принять ваши идеи, для решения данной проблемы.

Все документы отсортированы по дате. Самые свежие сверху. У тестового запроса мы выставили ограничение в 50 документов и диапазон дат последние 10 дней. Если выдавать все документы за весь срок, то это будет очень много. Даже на сайте у нас стоит ограничение в 1000 документов.

все понял, а скажите, какая плата планируется за такой сервис? интересует вилка цен... думаю стоит заморачиваться или нет

К сожалению, пока не могу дать ответа на ваш вопрос. Пока мы предлагаем данный сервис совершенно бесплатно. Но как и говорилось ранее, все кто будет как-то помогать нам в развитии сервиса, может рассчитывать на бонусы :)

А вообще, в планах сделать сервис доступный всем, как по ценам, так и по удобствам.

Digester добавил 12.03.2010 в 15:43

А вот теперь я могу дать ответ на вопрос, относительно оплаты.

Сейчас регистрация и пользование сервисом будет бесплатным. Т.е. все кто регистрируется сейчас в будущем так и будут пользоваться базовым сервисом будут без каких-либо дополнительных плат. Единственный обязательным условием для этого будет наличие на странице с новостями ссылки на сайт digester.ru (Что-то типа: "Сервис предоставлен сайтом Digester.ru").

Ну что? Такой расклад устраивает? :)

Digester добавил 12.03.2010 в 15:48

Сейчас исправили небольшую ошибку с датами.

Что-то как-то неактивно :( Неужели данный сервис так уж бесполезен?