Результаты конкурса Google

Завершился конкурс Google на лучшее решение для их поисковика. Победил Daniel Egnor с системой географического поиска, преобразующей на этапе индексации почтовые адреса, указанные на страницах, в географические координаты, а на этапе поиска позволяющей ограничить радиус поиска по отношению к заданному адресу.

Упомянуты также в числе достойных следующие работы:

• Zhenlei Cai -- обнаружение связанных слов и понятий, словосочетаний, например, «коза-дереза», «Иван дурак» и др.
• Laird Breyer -- изучил марковские процессы в алгоритме PageRank и предложил модификацию, учитывающую возраст ссылки, позволяющую дать шанс новым сайтам.
• Thomas Phelps и Robert Wilensky -- алгоритм для уменьшения влияния нестабильности ссылочной структуры интернета. При индексации каждой ссылке ставится в соответствие сигнатура страницы, созданная по ее наиболее редким словам, и позволяющая даже при неверной ссылке найти потом страницу.
• Aaron Peapell -- PageRank-подобный алгоритм, придающий больший вес страницам, использующим ключевые слова запроса.
• Dan Blandford и Guy Blelloch -- группировка сходных документов в базе с целью уменьшить объем индекса.

Идея Daniel Egnor действительно интересна, что касается остальных, то часто они не новы и, более того, не лишены недостатков.

Работа Zhenlei Cai -- анализ текста для выделения связанных понятий делался еще в прошлом тысячелетии. Возможно, конечно, что в работе самую важную часть составляют детали, не раскрываемые Google, но вероятность этого невелика.

Работа Laird Breyer -- о процессах ничего не могу сказать без деталей, а вот идею добавить возраст ссылки я предлагал года полтора назад. Она не лишена недостатков -- любой спамер, активно раскручивающий сайт, получит преимущество по сравнению с обычным веб-мастером. Я нашел несколько решений, как справиться с этим, а в описании работы Laird Breyer даже о проблеме ничего не сказано.

Работа Thomas Phelps и Robert Wilensky -- идея интересная, но метод для создания сигнатуры выбран примитивный -- есть гораздо более точные алгоритмы (см. список литературы). Кроме того, эффект от метода будет невелик -- процент мертвых ссылок составляет 2-6%, в зависимости от поисковика, у Google в 1999 он был равен 7%.

Работа Aaron Peapell -- неясно, даст ли алгоритм эффект, сравнимый с HITS или Hilltop, тем более, что текст ссылок уже учитывается в Google, только менее точно.

Работа Dan Blandford и Guy Blelloch -- идея красивая, но до того простая, что я буду удивлен, если ее авторы первые, кому она пришла в голову.

В общем, можно поздравить Google и Daniel Egnor -- первые получили массу идей, второй -- $10000 и поездку в Калифорнию. А может, Яндекс организует такой же конкурс? Вот только поездки в Москву и 10000 рублей в качестве стимула будет маловато. :)

С уважением,

Александр Садовский.