Подсказываю. Разместить ТЗ и, собственно, сам заказ на разработку в соответствующем разделе форума.
Неправда. Можно скормить ему и адрес конкретной HTML странички.
Там и дерево не нужно. Взять главный файл и пройтись от него рекурсией по инклудам. В результате останется список того, что нужно. Остальное можно смело тереть.
Жаль, что только Питон и Джава. Для PHP я знаю только такое решение: http://fivefilters.org/content-only/
К сожалению, оно довольно громоздкое и несколько неуклюжее, да еще и лицензия там GPL, а это не всегда айс. Apache или MIT было бы куда круче 🙄
Есть такой плагин, называется CyberSyn: http://wordpress.org/extend/plugins/cybersyn/
Плагин позволяет настроить количество импортируемых из каждого фида статей от 1 до бесконечности. Так же, имеется куча дополнительных фичей. Таких, как кэширование графики (картинки могут копироваться на локальный сервер для ускорения работы блога и обхода защиты от хотлинка).
Кроме того, при импорте фидов с YouTube, плагин может самостоятельно находить код встраиваемых роликов (в фидах YouTube его нет) и вставлять в посты вместе с полным описанием.
Еще имеется интеграция с TBS (The Best Spinner) и многое другое. Рекомендую - плагин совершенно бесплатный.---------- Добавлено 07.05.2013 в 19:01 ----------
Готовых решений не видел, но могу написать. Вопрос только один - Вы полезных ботов таким образом побанить не боитесь?
А я и не сказал, что обычные алгоритмы анализа больше не работают. Работают (тот же Penguin, что ссылочным спамом заведует), но по части оценки "качества" сайта (Panda), основная работа теперь делается именно за счет анализа поведенческого фактора.
А пока ИИ не изобретен, с этой задачей удачно справляется миллиард живых леммингов, находящихся "под колпаком" у Гугля. Более подробно я попытался написать об этом здесь: /ru/forum/comment/11351632
Выскажу-ка я свой взгляд на современных подход к оптимизации.
После прошлогоднего апдейта, Гугль окончательно решил не напрягаться с определением качества контента собственными силами (анализ уникальности контента и т.д.) Умные парни из "корпорации добра" решили поручить эту задачу... самим сёрферам. Ведь искусственный интеллект все еще не изобретен, а миллиард леммингов, выходящих ежедневно в интернет это сила, которую просто грех не использовать. Тем более, что сейчас у Гугля есть все необходимые средства для слежки за каждым их чихом: Google Toobar, Google Analytics и Google Chrome.
Соответственно, подход к анализу существенно упростился, а эффективность его, как ни странно, повысилась. Иными словами, алгоритм был сильно подкручен в сторону поведенческого фактора и ухода от классического машинного анализа. Не зря же у Гугля появился новый девиз: "делайте сайты для реальных людей". Этот девиз следует расшифровывать как "забейте на оптимизацию для роботов и займитесь оптимизацией для людей".
Всего пару лет назад, можно было заказать несколько десятков "уникальных" статей (с правильным процентом ключевиков и т.д.) у индусов практически за еду, нафаршировать ими свой "сайт" с убогим дизом, сделанным за 10 минут на коленке, прикупить немного хороших ссылок, повесить адсенс и наслаждаться хорошим поисковым трафиком.
Сегодня такой подход совершенно не работает. Дизайн сайта, скорость его загрузки и качество наполнения теперь играют решающую роль. Сёрфер не будет ждать пару минут, пока Ваш сайт загрузится. Он не будет смотреть на уродский, или уже набивший оскомину на других ресурсах диз. Он в 99% не захочет читать совершенно пресные голые статьи ни о чем, написанные индусами.
Сёрферы хотят видеть красивые быстрые сайты, с удобной навигацией, поиском и так далее. Они хотят видеть как можно больше графической информации, картинок, видеороликов и так далее. Например, обзорный сайт о новых играх/телефонах/фильмах/машинах, содержащий исключительно уникальные но тупые статьи, купленные у копирайтеров будет пользоваться гораздо меньшим интересом (высокий bounce rate, низкое время нахождения на сайта, низкое количество переходов, маленьких процент букмаркеров), чем сайт той же тематики, содержащий пусть и не уникальные но интересные и релевантные видео ролики с различных ресурсов, позволяющих использовать их медиа контент на Ваших сайтах (YouTube, IGN и многие другие).
Выходит, что второй сайт с неуникальным контентом (даже наполняемый на автопилоте), будет более интересен реальным людям, что сразу же заметит и Гугль. В итоге, первый сайт упадет далекие и темные глубины SERP-ов, тогда как второй, быстро полезет вверх.
Пример XML фида можно посмотреть?
Как-то на Хабре появился небольшой но очень точный список правил, которых должен придерживаться каждый владелец более-менее серьезного интернет проекта:
1) Никогда не регистрируйте домены в зоне .ru (.рф).
2) Держите свои сервера в цивилизованных странах.
3) Храните деньги в банках цивилизованных стран.
4) Переезжайте жить туда же.
