Поисковая система (нужна помощь)

на codenet.ru глянь

Спасибо! Добавил в закладки, полезный ресурс.

Да, может кто подскажет, какую ОС лучше использовать для этих целей?

Остановился на SUSE Linux или FREEBSD.

WLB, freebsd одназначно если выбирать только из этих двух.

Писать с нуля - идея не лучшая.

http://searchengines.o0o.ru/ обсуждение алгоритмов и уже готовых поисковых механизмов - open source.

Пользуйтесь.

Спасибо за ссылочку!

Так все дело в том, что не хочу готовое. Хочу изучить существующие алгоритмы и попробывать с нуля написать сам.

Я рассматриваю это как хобби, 2-3 года готов инвестировать в самообразование (в свободное от основной работы время), бюджет не ахти, но на покупку дополнительных серверов в дальнейшем, литературы и т.д должно хватить 15-20.000 евро.

WLB, такие деньги для само образования не нужны, хотя если для серверов и сколько вы уже занимаетесь программирование, если вы вообще не знаете с++ то идея - гибиль.

Первый компьютер купил в 97 году, с 98 начал интересоваться программированием, с 2000 года "профессионально" занимаюсь разработкой ПО.

Пишу в основном на:

- VB

- VB.NET

- ASP.NET

- DELPHI

- PHP

Работаю с:

- MSSQL

- MYSQL

В С++ имею чисто теоритические знания, проектов не было. В принципе я быстообучем, к тому же имею идею (пока еще не доработанную) над которой хочу потрудиться + огромное желание учиться дальше. Как я уже писал, время у меня есть, было бы здоровье! :)

Расскажу одну историю...

Был у меня "программист". Писал быстро, проги РАБОТАЛИ.

Но в какой-то момент мне потребовалось сделать прогу посложнее - необходимо было несколько дел делать одновременно (получалось примерно 3 потока). И стал он изобретать велосипед, вместо использования стандартных методик:(.

Если не изобретать, то прога почти элементарная (так и пришлось мне ее самому писать за 3 дня). А он попытался сделать свою синхронизацию. Три недели писал... Сдает на тест, а в тесте глюк. Этот глюк исправил - вылезло 2 новых. 2 новых правит, вылазит самый первый и еще пара новых. Через месяц после просрочки поставленного срока, он был вынужден сказать, что он не сможет написать так, чтобы она работала. (еще через 2 недели, я вынужден был потратить 3 дня своего времени, чтобы НАПИСАТЬ С ЧИСТОГО ЛИСТА эту заразу, т.к. она была крайне необходима).

Вывод:

1) Изобретать велосипед стоит в очень редких случаях.

2) У любого программиста существует свой потолок сложности, который он не может перепрыгнуть.

3) Написать прогу с чистого листа часто бывает проще, чем исправить баги в чужой.

4) Если нет культуры программирования, то потолок программиста очень низок. При этом у очень редкого любителя ПХП, ВБ и дельфи имеется нормальная культура программирования:(.

WLB,

тут видите у вас сразу - прокол, использование одной из этих БД да и вообще SQL-like поисковой машины свыше 5млн документов - не проиндексируеш.

Newm,

полностью согласен.

snoopckuu]

>тут видите у вас сразу - прокол, использование одной из этих БД да и вообще SQL-like поисковой машины свыше 5млн документов - не проиндексируеш.

Можно узнать, откуда это число - 5 млн.? Какая разница, сколько документов, лишь бы в базу влезли. Хоть 1 млрд. Другое дело, что скорость отработки будет ниже, чем у бинарного файла. Но можно поставить 1тыс серверов, на каждом будет работать mysql, и все прекрасно будет крутиться. Такое впечатление, что те, кто делали СУБД, вообще не смыслят в структурах данных. СУБД - готовая структура, которой очень удобно пользоваться. У Доброва в МГУ все работает на Оракл, и неплохо работает. Все зависит от задач. Если делать большую поисковую машину с временем отработки <1 сек, да, СУБД будет тяжеловата. А если делать корпоративный поиск, где можно подождать секунд 5, скорее всего, все будет хорошо. Просто базу нужно использовать как структуру для хранения документов. А выдергивать результаты, конечно, не помощью оператора like.

statev, SQL-LIKE имелось в виду не использование LIKE запроса для поиска по базе а всех баз связанных с SQL. Я не вижу смысла ставить 1000 серверов для Mysql если это можно сделать на 100 без использование его или денег много выбрасывать в пустоту?