Форум Практика оптимизации Поисковые технологии

Поисковый движок Nutch

1 234
TD
На сайте с 07.08.2006
Offline
0
TXD
#31

snoopckuu, Nutch тестил впервые, поэтому все настройки использовал дефолтные. С задержкой видимо вышел прокол - по умолчанию она стоит 5 сек. Т.е. для максимальной производительности нужно ей ставить в 0?

Ну и трэд получается был 1, т.к. хост 1. А какое количество в данном случае будет оптимальным?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
TD
На сайте с 07.08.2006
Offline
0
TXD
#32

В общем потестил тот же объём инфы с нулевой задержкой, 100 потоками и параметрами indexer.minMergeDocs=1000 и indexer.mergeFactor=1000. Получил время 45 мин. Такие вот дела.

snoopckuu
На сайте с 26.02.2006
Offline
34
snoopckuu
#33

TXD, ну вот :) а если перейти под уникс там вообще будет отлично.

Разработчик поисковых систем и алгоритмов. Я умнее яндекса. Мой синонимайзер. (http://se.o0o.ru)
E
На сайте с 27.08.2005
Offline
15
Eugen
#34

То-то и я удивился :) Какое-то космическое время в первый раз было получено.

Eugen's blog (http://www.kochuev.com/)
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий