WebGrabber DLE - автонаполнение DLE сайтов по крону, полная автоматизация

Ну это есть и в моем граббере, да и в новой версии уже есть html парсер краткой новости + синонимайзер с использованием Я через прокси, чтобы не забанил, хотя у меня же не mail.ru, так что бана на ip не будет. Переплюнете? ;)

Все привыкли к модулю rss grabber 3.0.2 в том числе и я, и лучше его помойму нету. Да и куда лучше ? всё удобно и просто :) ТС, вы изобретаете велосипед с тремя педалями :D

alex_778

Как раз Вы не правы, ТС-у респект за здравую конкуренцию ;)

Так ребят! Кончайте флудить в моей теме, rss grabber - это не то совсем, глядя на него и появилась идея, я бы даже сказал необходимость, написать реально автоматизированный и надежный инструмент для наполнения DLE сайтов.

Приведите хотябы пару сайтов, которые живут 2-3 месяца и не в бане у Яши ☝

Ради просто прикола светить сайты смысла нет. Если это единственная загвоздка, то будьте уверены, что они есть, при покупке плагина покажу.

спасибо, пользуюсь грабилкой все конечно замечательно, но хотелось дальнейших модернизации

например как у фидмастера, трансляция контента с гугл транслейт или яху труб.

какие доноры поддерживаются? только ДЛЕ? очень интересует вордпресс и друпал:)

полностью поддерживаю.

ТС, я конечно понимаю, что реклама своего продукта это хорошо... надо вперед выставить самые лучшие моменты, а что плохо или просто не совсем качественно просто умолчать. Хотя может я и не прав, может Вы просто забыли про это написать. Но я хотел бы услышать ответы на такие вопросы:

- если граб идет не через rss, то как? Вы очень скользко обходите эту тему

- парсится весь сайт-донор, то есть full-grab?

- без обид но смешно, что вы выставили на продажу дополнения в виде 6-8 лент с которых можно тянуть, которые уже до такой степени заезженные вдоль и поперек, что просто купить базу тех же самых on-line фильмов можно баксов за 5 (вместе с картинками). Вы заставляете людей выкидывать деньги, не очень хорошо отзываясь о rss-grabber'е... Но там я могу взять практически любой сайт, который выдает ленту rss... А тут выкидывая евро по 44 рубля за одну штучку, получу не понятно что... Я не пытаюсь Вас обидеть, но этот последний пункт, который я так расписал, наиболее важен для всех...

Сайты любые можно подключить, нужно чтобы выполнялись след. требования для донора:

1. структурированность информации;

2. возможность заворачивания контента в кодировку win-1251 (т.к. dle поумолчанию работает с этой кодировкой), т.е. например с украинским сайтом будут проблемы;

3. уникальность контента донора (отсутствие контента среди др. используемых доноров);

4. юридическая возможность выпарсивания контента (например выпарсивать какой-то знаменитый сайт я не буду, если на сайте четко указан запрет использования материалов, иногда пишут, чтобы ставили ссылку на источник - это подходит);

Вот вообщем-то и все. Как только есть подходящий донор, я даю задание программисту для написания дополнительного модуля для плагина для подключения конкретного сайта. Т.к. большинство сайтов структурированы хорошо, то все задание сводится к замене регулярных выражений в уже готовом модуле для др. донора.

Доп. модуль кстати может написать любой программист, более того, Вы сами можете распространять его за деньги пользователям плагина.

softvariant.ru добавил 12.03.2009 в 00:54

Вы полностью правы, я просто люблю больше сам процесс создания ПО, чем его рекламу, даже своего - это у меня получается не очень хорошо ;)

Т.к. система ориентирована на добавление новых новостей, обычно парсятся первые страницы каждой нужной категории сайта. Парсится html контент с заходом на страницу с полной новости при необходимости.

Сложно сказать, насколько они заезжены, но в свое время, чтобы найти 3 сайта с онлайн фильмами, выдающими в своем контенте не 99%-ый дублирующий результат, а отлично друг друга дополняющий контент, пришлось пересмотреть порядка сотни сайтов этой тематики и такая же ситуация обстоит в др. тематиках. Я же предлагаю контент, отлично др. друга дополняющий. Я в жизни не будут делать доп. модуль, если вижу, что донор выдает контент совпадающим с каким-нибудь уже подключенным донором.