Altavista Prisma - новая технология

Похоже, они используют не только информацию о совместной встречаемости терминов, но и анализируют запросы пользователей. По крайней мере, на низкочастотные запросы (для которых находится 200-300 страниц) AltaVista выдает полную ерунду, никак не связанную с темой. Например, на слово из трех букв предлагаются "Company Details", "October 24" и т.д. -- такие сочетания встречаются обычно на 1-5 страницах, что для статистических выводов крайне мало. Более того, та же фраза "October 24" никак не выделена в имеющихся страницах, и если не использовать базу запросов, неясно, почему AV выбрала ее.

Но такая чехарда есть и по более популярным запросам, например, на russian search engine отображаются довольно дикий список, включающий три группы терминов:

• русские брачные агентства (Agency, Russian Lady, Russian Women),
• список языков и стран (Countries, Eastern Europe, English, German, Portuguese, Spanish, Worldwide)
• и только два термина, касающиеся поисковиков (Full Text, Search Engine Submission)

Анализ текстов страниц говорит о том, что AV может сделать еще три вещи, которые могли бы улучшить результаты поиска:

1) она пытается найти связанные слова, даже когда данных недостаточно для выявления устойчивых закономерностей -- их надо игнорировать;

2) она не умеет выделять списки, слова из которых, как правило, являются паразитными спутниками (пример выше -- списки языков);

3) она не отсеивает жестким образом дубли страниц перед тем, как искать закономерности.

С уважением,

Александр Садовский.