ht://Dig vs. AspSeek vs. mnogoSearch

Да это я уже понял и сам -- гуглом пользоваться умею:)

Поэтому и постил предыдущую мессагу -- может кто даст потестить в виде exe и под виндой, а то с Nix у меня нет специалистов. А под виндой мой отдел системного программирования протестит очень конкретно -- и выложит на общее обозрение отчет о тестах.......

Если кто готов дать exe -- пишите в приват

leo собака softinform точка com

Исходники же лежат в свободном доступе - так соберите из них поисковик под виндой...

P.S. У нас по нескольким серверам ищет aspseek - вполне им довольны, когда-то пробовали mnogosearch - крайне не понравился, может сейчас лучше стал... Дубляж поиска при помощи старенького Yandex.Site (остался в качестве наследия от былых тестов)...

Все время обсуждаются скорости и возможности, но ни грама внимания не уделяется качеству самого поиска и выдаче... Что все расматриваемые системы идентичны в этом вопросе???

Нет ничего более субъективного, чем качество поиска, т.к. нет формального определения релевантности :)

Здесь можно моного копий наломать без особой пользы...

вот интересно - в дпсерч ввели какой-то хитро мудрый алгоритм самонастраивающегося поиска - и еще в дпсерче можно собрать с нитями и он очень быстро стал индексировать - можно указать количество нитей - и все будет зависеть в основном от скорости канала )

Сомнительно. Разная идеология. Насколько уже разобрался, все эти поисковики - решения для одной машины. Для больших объёмов индексирования нужна масштабируемая архитектура с оптимизацией на стоимость процессорного времени, о чём Брин с Пейджем твердили ещё в 1997 лохматом году. А распределённой и масштабируемой архитектуры у перечисленных проектов как раз-таки и нет.

плохо вы разобрались, точнее вообще не разбирались, раз у вас такие мысли ;)

Везде после 1 млн. документов индексированных возникают проблемы. Ни у одного не указана возможность масштабирования в кластер. Пока из масштабируемых нашёл только Harvester (древний Framework), Lucene (в стадии разработки), Nutch (Java, в стадии разработки).

Видел в форуме AspSeek предложение использовать его на нескольких машинах следующим образом: каждый сервер индексирует свою часть интернета, затем на поисковой машине идёт слияние результатов поиска по этим серверам (своеобразный метапоиск). Те, кто пробовали, очень сетовали на итоговую выдачу.

В форуме mnogosearch есть ответ по поводу масштабируемости - очень слабая масштабируемость. В рамках деления поисковика на части.

DataparkSearch тоже можно разделить по серверам на части: отдельно положить MySQL базу, отдельно краулер, отдельно индексатор. Масштабируемость на уровне разрезания. Никакой нормальной масштабируемости у них не нашёл.

Если поправите или дадите ссылочку на масштабируемый поисковик - буду очень рад.

aspseek самый быстрый из перечисленных, если вы разработчик, то нет никаких проблем переделать всё под себя, тем более что исходники aspseek'а очень хороши.

какая именно масштабируемость вам нужна?

все java разработки выгледят ооочень убого, nutch помрет ей богу.

на самом деле все очень прозрачно, выдача как выдача, баги есть, люди их фиксят, если вам ооочень надо всё можете пофиксить :)

вы слишком многое хотите от халявных разработок.

не найдете, то что вам нужно, если сами не будете "напильником" под себя затачивать. НО и в этом случае конфетку не получите.

Я для своих целей пилил aspseek. вполне доволен.

Размер проблем составляет человеко-год доработок для создания распределённого поисковика на основе aspseek. Со слов его создателя.

Что мне надо, я сам сделаю. Спасибо.

Причём тут что я хочу? Мы вроде разбирали разницу между метой и опенсоурс поисковиками? И Вы тоже утверждаете, что мету ("конфетку") из них не получить. В чём тогда дискуссия? Зачем личностные наезды про "плохо вы разобрались, точнее вообще не разбирались, раз у вас такие мысли", если итоги размышлений схожи?