Поисковый движок Nutch

вот-вот, все-таки единственный scalable. поэтому было бы очень интересно узнать результаты по производительности: как по скорости индексации, так и по скорости поиска.

ИМХО, будущая версия 8.0 на данный момент, очень сырая. Исправляются множества багов, и ближайшее время не советую ее использовать.

Версия 7.2 более менее оптимальная для экспеременов. В ближайшее время стемминга для этой версии будет выложен.

(если кому надо срочно, могу скинуть, стучитесь в ПМ)

Однако на данный момент Adre работает именно с морфологическим словарем, ест. купленным. Поиск расположен на 3 серверах.

Да, но только с 8.0 полноценно поддерживается hadoop.

Скажите, Evg, с какими конкретно багами 0.8-dev вы столкнулись, это чтобы не наступать на уже пройденные грабли.

Вы знаете, багов там так много, что перечислять их тут не представляется возможным :(

Посмотрите: http://www.nabble.com/Nutch-f362.html

Вот, реализация stemmer - а для 7.2 (русский).

Вот где можно его скачать:

http://adre.ru/src.tar

Я постил его на западе, но ссылку к сожалению уже не помню.

Вот еще информация:

http://wiki.media-style.com/display/nutchDocu/setup+a+map+reduce+multi+box+system

http://wiki.media-style.com/display/nutchDocu/setup+multiple+search+sever

http://issues.apache.org/jira/browse/NUTCH

А где многоуважаемые господа берут 0.8 версию? Вроде последняя доступная 0.72? Или не там смотрю?

Из SVN. Кроме того у них есть nightly-build.

Спасибо, Eugen, я пошарил и нашел nightly. Почему-то его нет в Австралийском зеркале :/

Кстати, Evg, вы часом не один из команды адре? ;) Впрочем, если нет, то все-равно в предмете разбираетесь.

Позвольте задать вам несколько вопросов ;)

1. Как лучше решать задачу повторного кравлинга страниц? Т.е. если 1контент обновился?

2. Горячая подмена индекса - как правильнее?

Это все для того, чтобы максимально автоматизировать работу паука, т.к. изначально все команды запускаются ручками.

В целом этот Nutch штука интересная. А можно както решить проблему с кодировкой? Русский-то не отображается.

Стучитесь в личку - постараюсь помочь.