Почитайте: Тоби Сегаран "Программируем коллективный разум". Очень интересная, а в одной из глав рассматривается пример разработки простой пс. И все на Питоне кстати!
http://www.antula.ru/algoritm-robots.htm
как работает поисковый робот
Если все так уникально, есть уверенность и работающий прототип, может стоит попробовать поискать нужных людей!? "Неохота и лень" вам не помогут.
А для того чтобы не "гадили в душу", не будьте голословным - покажите. Все оценят.
Соглашусь с Алексеем.
Вчера состоялся диалог с одним из Ваш ботов:
я: Who killed Kennedy?
q: I tend to believe that Oswald acted alone, athough there may also have been a conspiracy.
Это здорово. Но, спросим у Гугла или Яндекса.
Что мы имеем -- свободу выбора и возможность получить массу интересной информации. Оба эти поисковика ежедневно/еженедельно вносят изменения в алгоритмы поиска, что безусловно положительно влияет на качество.
Ваша технология несомненно хороша, но в составе полноценной поисковой системы. Или в составе выдачи одной из них :)
Краулинг и парсинг гипертекста можно осуществлять на Python или Perl, для всего остального где важна скорость -- С/С++. Хотя если десктоп аппликейшн, то только С++ (или D). Если конкурировать с Гугл или Яндекс (действительно, а какого черта :) ) то разрабатывать свои технологии (распределенного) хранения индекса. Ну а если же это все так -- "щоб було", тогда действительно подойдет и PostgreSQL, Яху например его активно использует. BerkeleyDB оч шустрая.
А какие алгоритмы уже проработаны? Ведь многое зависит как раз от того как именно хранятся данные. Тут все к простому SQL не сведешь.
Почитайте тут: http://ilpubs.stanford.edu:8090/361/ и тут http://owngarbage.narod.ru/Doc/Turtle_search_engine.doc
Вот еще была темка: Реально ли написать поисковик на php
И все же, наверное говорю как любитель. Создание поисковой системы -- задчача одна из сложнейших, но вместе с тем одна из самых интереснейших. Самому было бы интересно авторитетное мнение.
Если подходить с практической точки зрения, то есть Google пользовательский поиск и Google Desktop, Yandex.Server и Yandex.Desktop.
Однако может быть и своя специфика или абсолютно новая идея поиска. Она есть?
Большое спасибо.
