Вышел SearchInform 2.0.

136 гигабайт чистого текста? или док файлов? И какова потом скорость поиска? Минуту на запрос?

Размер документов 132,26 gb

Всего документов 2,888,202

Уникальных слов 18,912,257

Размер чистого текста 77,57 gb

Размер индекса 16,29 gb

Время индексации 6:28

В среднем гб в час 20,45

А вообще все это есть вот здесь (файл всего 64 r,)

www.searchinform.com/tmp/1.doc

По нашим расчетам без снижения скорости индескирования мы до 300 гиг чистого текста без вопросов, далее наверно будет снижение на 25-30%

Если кто то сможет предоставить гиг 500-800 текстовой инфы, то мы бы с радостью провели тест на индексирование террабайта и с оглашением результатов в этот форум.

нет, ну индексирует бесспорно исключительно быстро. но тут возникают два естественных вопроса:

1) как быстро потом ищет? в принципе 2.8 миллионов доков размером в 20к примерно эквивалентны 16-18 млн вебовских страничек.

2) подозрительно маленький какой у вас индекс, это, наверное, без стоп-слов? или без координатной информации?

да, собственно забыл сказать. чтобы проверить скорость индексации можно использовать синтезированные текстовые документы. собираете статистику по частоте длинн документов и частоте появления последовательных пар слов и вперед :-) хоть десять террабайт можно сгенерить. сответствующая программка пишется быстро :-)

Реально ищет в 3-4 раза быстрей чем к примеру dtsearch. Только в отличии от времени индексирования тут так корректно время нельзя измерять -- надо через утилиту которая будет заполнять поля в проге и кликать на поиск.

Это одно из преимуществ что маленький индекс. Из за этого в том числе и поиск быстрей. А фразовый поиск с расстоянием безуслвоно поддерживается.

Такой тест никому не нужен -- интересно тестить на реальгых данных.

а что dtsearch как-то осбенно эффективен? сравните лучше с google desktop или персональным поиском Яндекса.

а что автоматика не поддерживается? а скорость поиска вещь важная, зачем вам быстро индексировать такое количество информации, если время выполнения запроса будет 1 минута+? не лучше ли в такм случае продать какое-нибудь масштабируемое решение.

И все у вас умещается в 20% ? а запрос "to be or not to be" у вас можно найти? не будет ли этот запрос эквивалентен запросу "be be" ?

Вот тут Вы принципиально не правы. Попробуйте сначала создать синтетическую коллекцию такого же объема, как и реальные данные. Протестируйте скорость создания индекса и время поиска. Вы приятно удивитесь насколько результаты будут похожи. Возможно даже практически идентичны. Даже если Вы возьмете Зобелевский finnegan.

как-то ставил SearchInform - не понравился что-то в целом.:(

Юзаю теперь Dvygun.... он вроде нормально ищет все....

sni, прошу великодушно извинить, но представляется, что сообщение "не понравился в целом" не совсем продуктивно. Постарайтесь в следующий раз обосновать свое мнение и/или привести примеры.

Регистрируйтесь на TREC2006, там есть Terrabyte track, - получите раза в два больше инфы, заодно с зубрами IR поряетесь, если не страшно :)

Да именно dtsearch быстрей всех после него идет isys

А yandex у нас свалился даже на индексации 11 гиг - куда ему 100 гиг

С google тоже -- 11 гиг более 5 часов в то время как dtsearch 3 с половиной часа.

Можете проверить сами. Сейчас реально нас постоянно сранвиают (и это неспроста) с 2 -я системами -- dtsearch и isys

Из серьезных есть еще решения verity -- они тоже намного хуже наших, но я не могу привести результатов тестов с точки зрения законности -- так как у verity нет официально trial версии в отличии от остальных :(

А так как мы во многом работаем на запад, то нам приходится следить за легальностью своих высказываний

У нас есть API и себя мы можем в автоматике а вот у остальных нет триальной версии API. Могу скахзать что мы ищем в 3-4 раза быстрей, но точных цифр приводить не буду именно из за юридических тонкостей.

Это вы наверно по другим системам судите? Нашу вообще хоть пробовали? Я бы вот например не рискнул говорить более минуты не попробовав. Если речь не вести о нашей изюминке -- поиске похожих а только а фразовом с расстоянием который есть у всех то время измеряется все же в секундах ну может на особо талантливых запросах до 10-15 секунд. Здесь я речь веду о проиндексированных 132 гигах

А кто сказал что у нас нет масштабируемого решения?

Стоп словами управляет клиент. Может вообще при индексации убрать все стоп слова и все будет замечательно

Вот тут Вы принципиально не правы. Попробуйте сначала создать синтетическую коллекцию такого же объема, как и реальные данные. Протестируйте скорость создания индекса и время поиска. Вы приятно удивитесь насколько результаты будут похожи. Возможно даже практически идентичны. Даже если Вы возьмете Зобелевский finnegan.

Напоминает фразу из известного фильма

" Мне нужен точно такой же халатик только другого цвета "

Оно бы хорошо -- только вот с таможней проблемы -- они вражеские данные не пропускают.

ЕСли можете посоветовать как нормально это сделать пишите мне в личку -- буду признателен

leo собака softinform точка com

Например, утянуть по инету...