Поисковая машина нового поколения

Не, неинтересно. Что, любой чудак полезет в код, найдет "секреты оптимизации" для этого поисковика, и все - аюшки :)

Интересно, сколько таких чуваков в инете сиди, которе могу полезть в код

и найти "секрет оптимизации"... :)

Именно! Разработчики о ней не думают, когда занимаются разработкой. Имелось ввиду, что при таком подходе все сводится к простому лицензированию, по которому любой может внести изменения в исходный код системы, использовать ее и даже получать прибыль, не тратя при этом ни копейки, пока его собственные разработки остаются доступными другим разработчикам открытых кодов.

Чего чего? Кажется я не понял, что вы имели ввиду. Причем тут достижение некоторого уровня релевантности? Разве я говорил об этом?

Возможно вы просто невнимательно прочитали мое сообщение. Я бы посоветовал перечитать еще раз более внимательно и если уж придираться, то не к словам, выискивая неточности формулирок, а к сути. Если вы не согласны с тем что при таком подходе что-нибудь получится - так и говорите - мол не согласен, потому что... и т. д.

Оpen source - всего лишь подход к разработке - вдумайтесь эту фразу. При котором любой человек может внести свой вклад, где бы он не находился. Как правило такие разработки никто не финансирует, хотя заинтересованные лица или компании могут оказать спонсорскую поддержку.

Если говорить о разработке поисковика, то причем тут "постройте поиск хотя бы по Рунету"? Какая разница где строить поиск? Или может быть поиск по рунету, чем-то принципиально отличается от поиска по остальному вебу?

Какая еще окупаемость? При open source подходе?! Вы же сами только что сказали "разработку open source начинают программисты, которые изначально это делают либо потому что им неудобно "вот в этом месте так клавиши нажимать", либо из любопытства - что, мол, получится.
"

Наконец, хочу вам напомнить, что речь, в частности, шла о проблеме создания поисковой машины нового поколения, и я всего лишь высказал мнение, по поводу того, что создание такой машины возможно, если использовать подход оpen source, потому что при нем, повторюсь, к разработке может присоедениться абсолютно любой человек из любой страны мира, благодаря чему, по моему скромному мнению, значительно увеличиваются шансы изобрести что-нибудь принципиально(или не очень) новенькое.

Если вам интересно то можете прочитать о разработке такого поисковика

http://webrating.ru/promo/promo_news_arch/?NEWS_GROUP=publishers_news&NEXT_ITEM=6980

Dmitriy Sheerai, говоря "open source" Вы отвечаете на вопрос "Как создать поисковик?", предлагая свой ответ ("open source") Вы не отвечаете на предыдущий вопрос - "А зачем его создавать?". Ваш ответ на вопрос "Как создать поисковик?" тоже не убедителен, потому как поисковики, в отличие от других софтверных проектов, требуют значительной "железной" составляющей - кто будет раскошеливаться на аналог рамблеровских 97 серверов "хотя бы для Рунета"?

Ну тут я не согласен. Вопрос по моему именно в этом. Сколько вы сможете нанять людей, чтобы они занимались разработкой поисковой системы? Ну допустим 1000. Неужели во всем мире только 1000 человек может этим заниматься? Что-то я сильно сомневаюсь. В мире гораздо больше таких людей чем 1000. Значит шанс на то, что им удастся разработать что-то принципиально новое гораздо выше чем у этой тысячи. Вот и все.

Кто будет оплачивать хостинг и траффик? - Спонсор :)

А спонсором может быть любой.

Один сис-админ захостил у себя один кусок машины, другой - другой кусок, а траффик анлимитед :)

Вот вам и спосорство. А программеры будут заниматься этим из интереса, в свободное от работы время например. Думаеле Линукс по другому делался? или оболочка под него - та же КДЕ?

Ну и наконец в мире существует такая организация как фонд приложений на основе open source.

Ну так и будете вы выявлять и устранять причины до посинения: парк расширять, алгоритмы корректировать и т. д., что будет вам влетать в астрономические суммы пока наконец не поймете давно уже отстали от жизни, а технологии ушли далеко вперед. А я считаю, что такой подход, как и ХР, очень здорово стимулирует этот процесс.

Отстают в развитии? Ну не согласен, хоть убейте :) Может откроем дискуссию о том, что лучше: винда или линукс? Или может IIS vs Apache?

to Miha Kuzmin:

да, согласен, такая вероятность существует. Хммм... об этом я не задумывался. Другое дело, что, как сказал doc(по крайней мере я его так понял, да простится мне если я ошибся :)) такая вероятность невелика. Вот радость то для веб-мастеров :)

Впрочем, по моему не это главное. Главное тут в том что при таком подходе шанс разработать систему нового поколения гораздо выше, чем при коммерческом. Когда разработка будет завершена - это даст мощнейший толчок всей индустрии, а потом уже, когда все увидят как, каждый сможет сделать что-то свое вполне закрытое "чтобы никто не догадался".

Да ради бога, если убеждены в том, что говорите - присоединяйтесь к открытым проектам, хотя бы к тем же mnogosearch и aspseek, они open source. Хотя, смею заметить, я просматривал их исходный код и, честно говоря, новых идей там не видно. Ребята что-то взяли за основу, что-то переделали, что-то доделали, теперь поддерживают. И что?

Не сказал бы, что их пример впечатляет.

По поводу Linux и KDE - Вы, похоже, как-то слабо представляете себе ситуацию здесь. Разработка этих проектов ведь ведется не хаотично, как можно было подумать, а полностью централизованно - есть идеологи, которые определяют, какими функциями должна обладать последующая версия программы, какой код и куда включать, зачем и т.д.

То есть, прежде всего, для начала проекта необходим Архитектор (Торвальдс у Linux), который спроектирует систему на бумаге, поставит первостепенные задачи и даст общие рекомендации по их решению. Вот этот человек (и, как правило, он один) и закладывает остов системы, которую затем и запрограммируют те 1000 человек, о которых Вы говорили.

Или речь идет о том, что все они обладают знаниями Архитектора и всю жизнь только тем и занимались, что проектировали компьютерные системы? А если даже если это будет так, то что получится в результате - полный хаос, не так ли?

Именно по этой причине идея одной новационной системы принадлежит одному-двум умам (например, как у Google), все остальные просто воплощают ее в жизнь. По-иному быть не может, потому как иначе неизбежно нарушается целостность системы и уже никто не будет представлять, как функционируют ее отдельные компоненты.

При этом, естественно, исполнители предлагают свои собственные пути решения задач и предлагают инновации, но в пределах какой-то небольшой части системы, информацией о которой они владеют. Ну не могут они просто предложить что-то кардинально новое, не представляя, как все должно работать вместе!

Так что вероятность создания чего-то реально новационного в проектах open-source нисколько не выше, а та же, что и в коммерческих проектах. Новое в систему все равно обязан заложить один Архитектор, а не тысяча программистов.

Разве я говорил, что разработка должна вестись хаотично? Тему организации и планирования я просто старался не трогать, чтобы не отходить далеко от темы дискуссии, а она, еще раз напомню, Пытаемся обсудить проблему создания, необходимости, рентабельности и т.д. Поисковой машины нового поколения.

Вот я и пытаюсь. Я предложил подход, при котором, на мой взгляд, такое было бы возможно. Другое дело, что пока в этом нет особой необходимости, хотя бы потому, что неисчерпаны возможности существующих. Когда подойдем к "точке насыщения" такая необходимость возникнет, система будет разработана и это можно будет охарактеризовать как реакцию социума на такую необходимость.

Пока все будет так как вы и говорили - будут выискиватсья и исправляться причины, потому что большинство людей пока тоже думает, что если поисковики их чем-то не устраивают, то надо выявить и устранить причину и будут все жить долго и счастливо. Когда так думать станет меньшинство - наступит время для чего-то принципиально нового.

Я бы не был в этом так уверен. Тут как раз, на мой взгляд возможна альтернатива. То есть может быть как полный хаос, так и полный порядок. В конце концов они же умный народ, понимают в этом деле и знают как к нему подойти.

Что ж может так, а может и нет. Допустим вы правы. Все так и есть и ничего принципиально нового мы пока изобрести не сможем. Значит время не пришло... Увы. По крайней мере мы это обсудили :)

TO NULL

Вообще-то я не говорил конкретно как его создавать потому что вопрос так не стоял, я просто предложил подходящий, по моему мнению, способ. И потом, я не ставил целью кого-то в чем-то убедить, а просто высказал свою точку зрения.

Насчет того зачем - см. выше.

Насчет железа - не такая уж это большая проблема как кажется по началу. Хотя не буду утверждать этого наверняка. Я думаю, что все выяснится, когда придет время, а пока бессмысленно дискутировать на эту тему.

Если посмотреть программу конференции WWW2003:

http://www2003.org/detailed.htm, то там густо рассыпаны

слова Semantic Web (XML, RDF).

Если основным игрокам удастся договориться по стандартам,

то поисковая машина нового поколения будет работать в Semantic Web.

Так как, если им удастся договориться, то сначала на RDF/XML

перейдут крупнейшие провайдеры контента, затем появятся специальные браузеры и "Front Page'и", и за два-три года, учитывая экспоненциальный характер роста количества страниц,

БОЛЬШИНСТВО страниц станет какими надо.

Semantic Web предназначен для профессиональной работы,

для автоматического поиска одним компьютером в поисковой базе

другого.

При этом, например, в России, опять же учитывая экпоненциальный рост,

но уже новых пользователей, еще в течение двух-пяти лет, то

абсолютное большинство будет ПОЛНОСТЬЮ УДОВЛЕТВОРЕНО возможностями

существующих систем.

И хотя где-то с Semantic Web связывают перспективы для приличной доли рынка, но не у нас, по причине отсутствия хороших больших ресурсов,

как их не размечай.

Про Семантическую паутину ключевое слово - "удастся договориться". А если удастся договориться про почту, не будет почтового спама. А если удастся договориться про таможню, не будет наркотиков. Преступности. Войн. Национальных конфликтов. Обиженных и несчастных. И так далее.

Что касается open source, то чем всё-таки будет нова эта поисковая система? Просто применить давно известный способ разработки и ожидать автоматического появления новизны - это как-то по-детски немного? Так уже это делали не раз именно с поисковиками - и где они? Вы хоть одним поисковиком opensource в жизни пользовались? А ведь до Линуха открытых операционок и прочего ПО было полно.

В принципе, можно было бы попытаться создать поисковую систему peer-to-peer, Тогда и проблема с дисками и трафиком бы решилась. Но обычно в таких одноранговых сетях 99% пользователей - простые потребители, ничего полезного не привносящие, в этом-то проклятие пиринговых технологий - в жлобстве среднего пользователя, за которого приходится платить.

А про Рунет говорили неспроста. Он отличается от всего Интернета значительно - размером. Сделайте новый поисковик по Рунету, для начала. Небольшая, обозримая задачка, формальное упражение, чтобы убедить скептиков.

Есть еще одна интересная задача - словосочетания. Когда в поисковом сервере вводишь два слова, то, в лучшем случае, выдается документ содержащий оба этих слова рядом. В худшем, слова могут вообще находиться в разных разделах одно документа или вообще, содержащий только одно из искомых слов.

Хочется сделать возможным поиск по словосочетаниям. Именно, грамматически правильными, а не просто рядом стоящие слова.