к вопросу об открытии алгоритма яндексации

1. Если будут известны алгоритмы (доступен исходный код), я гаранитирую, что в течение месяца-двух появятся тысячи страниц, которые без труда обманут поисковик и попадут на первые места в результатах поиска. Релевантность упадет до нуля. Пользователи покинут поисковик. Что дальше?

2. Проекты Open Source хороши, когда речь идет о программе для одного пользователя. Яндекс работает с миллионами пользователей, база распределена по десяткам машин, ежедневно обрабатываются гигабайты трафика. Как, подскажите мне, может один программист улучшить работу поисковика, если у него нет такой базы для экспериментов (а собрать ее -- это сотни тысяч долларов)? Или этот программист надеется, что Яндекс предоставит ему все свои ресурсы для бесплатных экспериментов? Может, тогда и ПО для шаттлов и спутников разрабатывать на основе Open Source?

Нет, никакого раскрытия алгоритмов, уверен, не будет, равно как и Open Source. Поисковики -- не место для самодеятельности.

С уважением,

Александр Садовский.

[This message has been edited by funsad (edited 25-11-2001).]

Позвольте, ИМХО:

Все это так, когда речь заходит об одном ключевом слове для поиска. Действительно развернется настоящая война. Но вот вопрос: что изменится?.. Посмотрите на результат поиска по одному слову в том виде, в котором это есть сейчас? В свое время (я работаю в туризме) я разрабатывал ресурс о Хорватии. Представьте - целый сайт, напичканый информацией о стране, курортах, истории (сейчас он закрыт - не сезон ) Логичнее всего было бы видеть его в десятке первых по поиску (сравините с тем бредом, который вываливается сейчас). Но не тут-то было... он был где-то в тридцатке лидеров . Это я говорю, не к тому, что ресурс был самым-самым, а как пример того, что по одному слову все равно результаты в большой степени негодные. Так что, полагаю, ситуация не изменится. А вот обвинений в продажности Яндекса было бы значительно меньше, как и контор, занимающихся "продвижением по поисковикам" (бабки из воздуха).

Недурная мысль!

Но я имел в виду не разработку, а открытие алгоритма подсчета. Например, открытые крипто-программы популярнее закрытых. (меньше шансов, что в нее будет встроена лазейка. точнее почти никаких). И еще. Скорее всего, действительно, Яндекс своих алгоритмов не откроет. Но вот относительно того, что opensourc'a не будет в поисковой индустрии - это вопрос. И поверьте, очень серьезный...

Спасибо.

Удачи и здоровия!

Например, открытые крипто-программы популярнее закрытых - крипто-алгоритмы (используемые) ВСЕ открытые.

Однако на настоящий момент в поисковых технологиях наблюдается тенденция когда каждая группа разработчиков идет по сути вслепую. Они как-то забывают что открытость зачастую означает во первых признание, а во вторых это обычно резко стимулирует развитие данной области.

Открывать не будут по той причине, что не хотят усиливать конкурентов. Кроме того, почитайте интервью с представителями Яндекса (для представителей Яндекса - я имею ввиду в основном Воложа) - где открытым текстом, где завуалированно они говорят что мы крутые и улучшаться нам не надо, ну разве что чуть-чуть. Поэтому они считают, что от Open Source они ничего не выиграют. Тут уж скорее на Open Source можно сподвигнуть Punto или Topping (Вячеслав, слабо, а?). Но и здесь до тех пор пока конкуренты окончательно не задавят движения в сторону Open Source не будет.

Господа хорошие, да что вы так все молитесь на эту мифическую формулу релевантности? По вашему, она как философский камень, может любую страницу в нечто ценное превратить?

В любой быстрой поисковой машине формулы как таковой НЕТУ! Есть - сложный алгоритм, который, двигаясь по блокам индексной информации, на ходу подсчитывает разные параметры. Превратить его в аналитическую функцию, а потом найти экстремум при заданных ограничениях - невозможно (ну, по крайней мере, в Рамблеровском поисковике). Точнее, возможно (для любой такой штуки можно построить аналитическую аппроксимацию), но очень долго и сложно.

Ну, знаете вы, допустим, конкретные коэффициенты функции, определяющей вес вхождения нескольких слов в зависимости от расстояния между ними и еще десятка других параметров, что дальше? И так ведь ежу понятно, что слова запроса, идущие в документе рядом, имеют максимальный вес, а когда эти слова разбросаны по документу - вес пониже.

С уважением,

Влад Шабанов

[This message has been edited by vs (edited 26-11-2001).]

2Dworkin:

Алгоритмы все - проги нет...

но если говорить о сути, то тем более. Вопрос об открытых алгоритмах поисковых машин, становится вопросом времени...

2Aik: А между прочим дельное предложение. Тем более, если за разработку возьмутся инициативные люди. Ведь есть же положительный опыт открытой разработки целых ОСей, чем поисковики хуже?.. Правда, боюсь, и здесь Россия не вылезет на первые места. Слишком развито чувство собственности на талант данный от Бога и бесплатно...

В этом случае все зависит от того, сколько людей станут альтруистами и будут развивать такой проект, а сколько просто обеспечит себе удачу и процветание благодаря полученным подобным образом технологиям.

Да и сейчас экономическая ситуация в постсоветских государствах совсем не способствует развитию альтруизма.

Не так уж долго и не так уж сложно для человека, немного разбирающегося в математике. Вы алгоритмик откройте, а дальше уже наши проблемы.

А то, что в Рамблере никакой "формулы релевантности" нету - и так ясно, потому как релевантности как таковой в его результатах поиска обнаружить невозможно.

А Вольфу лишь бы подколоть монстра

Как мне это видится... Ну, раскроет тот же Яндекс алгоритм определения релевантности, и что? Кому от этого польза будет?

Ведь речь идет не о построении релевантной страницы как таковой. Речь идет о построении более релевантной страницы по сравнению с другими. Так какой толк от знания алгоритма, если у вас нет самой базы - чтобы имитировать поиск по ней и проверять положение страницы?

Вячеслав, мне думается вы сгущаете краски. Поскольку, в данном случае, ВСЕ участники процесса обеспечивают себе удачу и процветание... Ведь главным принципом OpenSource является: "Бесплатно взял - бесплатно отдай". Т.е. если Вы боитесь, что созданную вами машину упрут просто так, сделают пару новых фишек и скажут "ноу хау", то это ошибка. Поскольку это будет нарушением лицензии. А раз так, то все изменения (новые фишки) доступны и Вам... Так и будет двигаться проект вперед. А насчет экономической выгоды, думаю, что коммерческий успех Яндекса не в закрытости его поисковой машины.

Теперь по поводу филосовского камня :

Да, искать экстремумы - это может быть и бред. И скорее всего формулы вида Р=а*х+..+б*у не существует. Но существуют принципы оценки релевантности. На Яндексе есть статейка на тему... Но там раскрыты только очень основные вещи. Без деталей и тем более коэффициентов (что сильнее чего). Ведь в конечном счете можно все принципы формализовать, свести в таблицу и... Только "и" не произойдет с нашими Брэндами.