Система RSS-граббинга

123 4
S
На сайте с 06.04.2007
Offline
1
2737

Интересует спрос на следующую систему RSS-граббинга.

Система разбивается на два модуля:

1) PHP скрипт устанавливающейся на клиент-сайте

2) Java программа управляющая несколькими RSS-грабберами клиент-сайтов (система будет кроссплатформенной)

PHP скрипт (примерные возможности)

* Получение контента через ATOM и RSS ленты.

* Получение контента через HTML ленты.

* Парсит целую новость или только текст присутствующий в RSS фиде.

* Распределение по рубрикам в зависимости от заданных ключевых слов.

* Стоп-слова при наличии которых в тексте новости она не размещается.

* Заливка картинок присутствующих в новости на сервер.

* Гибкая настройка шаблонов получения контента.

* Возможность ручной модерации и правки контента.

* Отправка отчетов по e-mail.

* Фильтрация дубликатов.

* Возможность работы через прокси.

* Тематическая перелинковка всех новостей по ключевым словам.

* Простая настройка постинга новостей для разных движков.

Java программа

* Управление всеми возможностями PHP скрипта.

* Установка скрипта RSS-граббера на клиент-сайт.

Второй режим работы Java программы:

Java программа выполняет все функции скрипта и может генерировать наполнения для различных систем вплоть до статики.

Система на данный момент имеет эти модули в неотлаженном состоянии и разбросанные по разным местам. Хотелось бы узнать, интересен-ли вам данный продукт? Может быть стоит его дополнить или переделать?

LS
На сайте с 16.01.2007
Offline
104
#1

имхо - год/два назад грабберы представляли интерес, но сейчас выкинул со своих серверов все под чистую т.к. граббер штука не долго живущая, банят их, но чаще всего - выкидывают из индекса

yandex.ru
S
На сайте с 06.04.2007
Offline
1
#2

Т.е. сейчас ничем таким не пользуешься?

[Удален]
#3

А зачем изобретать велосипед Newsgrabber всё это и даже больше делает и есть в паблик доступе.

S
На сайте с 06.04.2007
Offline
1
#4

a-little-seo, согласен, но вот централизованно управлять большим кол-вом проектов он не сможет. Для десятка сайтов, он действительно удобен. А если их больше, что тогда? Периодически посещать админки всех 10 сайтов неудобно, а в нашем проекте есть возможность управлять всеми проектами из одного места, что будет здорово экономить время.

Все его возможности с таким-же успехом можно включить и в нашу систему, это не проблема.

S
На сайте с 06.04.2007
Offline
1
#5

Тем более, что уже практически все они реализованы - см. выше.

S0
На сайте с 23.11.2006
Offline
55
#6

Shuhart, на 100 сайтах контент я так понимаю что одинаковый должен быть?.

Предлагаю хостинг icq 468655368. Отзывы (http://www.hostobzor.ru/opinion/op.php?pid=1518) еще Отзывы (/ru/forum/221296)
S
На сайте с 06.04.2007
Offline
1
#7

Нет, распределяться по ключевикам, rss каналам.

Мысли на счет других методов отбора - приветствуются.

S
На сайте с 06.04.2007
Offline
1
#8

[Ошибочное сообщение]

T0][@
На сайте с 16.06.2005
Offline
112
#9

поисковый движок есть? или тащит все возможные новости?

можно ли тащить новости по поисковым словам, соответственно без стоп-слов?

равномерно или сразу наполнять большие объемы?

постинг новостей...можно ли сделать "предпросмотр" этих самых новостей?

еще будут мысли, отпишу...

...
S
На сайте с 06.04.2007
Offline
1
#10
T0:
[@]поисковый движок есть? или тащит все возможные новости?

По всем сграбленным новостям есть. Если вас беспокоят дубликаты, то их не будет.

T0:
[@]можно ли тащить новости по поисковым словам, соответственно без стоп-слов?

Опционально.

T0:
[@]равномерно или сразу наполнять большие объемы?

Опционально.

T0:
[@]постинг новостей...можно ли сделать "предпросмотр" этих самых новостей?

Да.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий