Тематическая поисковая система (до 1000 сайтов) - как делать?

Кстати, вопрос к знатокам dpSearh. Скачал версию, посмотрел create.txt практически то же, что и у mnogosearch. Но сайт http://www.43n39e.ru powered by dataparksearch пытается убедить, что у него есть опция поиска по близости!!!!! итак, следственный эксперимент. запрос test на первое место попадает сайт со словами drinking water подряд. ищем теперь по запросу Drinking Water и видим, что обманывают нас граждане насчет координатного поиска. Кстати, а если возможность настроить dpsearch чтобы он точные вхождения учитывал с большим весом. то, что это не сделано по дефолту наводит на грустные мысли.

PS: пардон не все тут так просто, там есть разные настройки по чему сортировать, использовать ли формы или нет, но все равно ранжирует ИМХО как-то не шибко хорошо.

о, ну странно, я ненароком подумал, что эта кеше мода, когда сначала дампится в SQL, а потом уже в блоб. ну значит я неправ. ну а алгоритм ранжирования всегда малость подкрутить можно. см, кстати, предыдущий пост. ну а по части устанавливаемости и надежности тут слов нет, видимо, продукт добротный. и главное, что не заброшенный как аспсик. и поддержка разных языков оч хорошая.

В чём вас обманывают-то ? Хотели поиска по близости, так для первого результата в тексте слова Drinking и Water стоят рядом в одном месте. Где же тут дурят ? Что вы собственно хотели получить ?

Для cache mode использутся и sql и свой индекс, причём при поиске sql-сервер не используется.

сорри, посмотрел внимательно, действительно не обманывают. просто сниппет плохой выдают.

Недавно сама в голову пришла такая мысль. Хотелось бы знать, за сколько (естественно, примерно) $ такое могут реализовать.

>сделан не русскими (то есть возможны проблемы с кодировками).

Проблем не будет там utf :)

А вот прикручивать морфологию и править скрипт это язык знать. Все же 50 мегов кода в архиве. Однако скрипт на данный момент самый мощный.

Учитывая, что подобный скрипт в одиночку написать практичестки нереал (надо просто знать сколько вбухано в данный скрипт денег и кто его пишет...), то думаю на данный момент лучшей выбор.

http://www.i2r.ru/static/334/out_20657.shtml

Однако повозиться придется. Это скрипт другого уровня чем датасердс, много... и aspseek.

Скажем так, если aspseek трехпрограмник, то Nutch комп. корабля шатла. Это так сравнение :)

"Вожусь" с данным скриптом более года.

См.

http://wiki.media-style.com/display/nutchDocu/setup+a+map+reduce+multi+box+system

http://www.nabble.com/Nutch-f362.html

Демо на русском могу скинуть в личку.

Вы имеете в виду вот это?

-------------------

Этот сервис включает в себя законченное решение

- сайт на TYPO3 (www.typo3.org) - тоже кстати GPL

с каталогом сайтов

- mnogoseach установленный и настроенный и прикрученный к этому каталогу

- установку этого всего на сервере и полный комплекс пусконаладочных работ

- дизайн если требуется...

- ... прочее

GPL это не противоречит... более того - именно так развивается TYPO3.. за счет таких сервисов.

-------------------

Кстати, вот еще что вспомнил, пардон что не сразу это было почти 10 лет назад, по поводу датапарка и хранения в базе. У них изначально был некий режим, вполне возможно, что это blob-mode, когда каждый инвертированный список хранился в блобе, так вот есть информация, что тогда были приличные проблемы с фрагментацией блобов. Может в современных версиях mysql-server все обстоит гораздо лучше. Господа, может это кто-нибудь прокомментировать?

А по поводу cache-mode: все-таки это как-то некошерно иметь две версии индекса, одна из которых занимает весьма много места. А много это что-то порядка 4-5 размеров текста.

Вы все-таки малость преувеличиваете масштаб бедствия. :-) Современный поисковик, особенно если в нем не изобретать велосипед, а использовать готовые либы и технологии, вроде iconv, corba и j2se довольно-таки кондовая штука. Вот сейчас посмотрел всего два мега исходного джава кода. Абсолютные пустяки. Все остальное, это уже скомпилированные бинарные jar-файлы. А вот, кстати, о каком скрипте идет речь в Вашем сообщение?