Кроме документов (найденных, как в обычной поисковой системе), мы выдаем т.н. "Инфопортрет" - список слов и словосочетаний, наиболее значимых (в смысле, указанном выше) для данной выборки.
Вы, вероятно, не обратили на него внимания.
Этот список можно понимать, как семантические связи (хотя я этот термин не люблю - до семантики из современных систем ни одна не добралась).
И в этом списке нет никаких предлогов "в", хотя могут и появиться в какой-нибудь специфической базе и запросе (мне пока не попадались таковые).
В этом случае метод работает. И, естественно, лучше, чем для низкочастотных слов. Стоп-словарь не используется.
Честно говоря, с некоторых пор (лет 8 назад) я противник стоп-словаря, как метода, в чем-то волюнтаристского, апеллирующего к абсолютным свойствам языка.
Есть аналог - поиск по точной словоформе (часто русскоязычные поисковики реализуют только поиск целой лексемы).
Хотя, любая реальная система - это набор компромиссов. Чем-то всегда приходится жертвовать ради сроков и производительности.
Вам, Сергей, это тоже известно.
Демо-сайт вместе с обработчиком запросов к базе (около 300 тыс. документов, 1Гб текста) стоит на довольно слабенькой машинке (celeron-433) так что периодически отключается. Хотя с другой стороны, показывает работоспособность технологии на таком недорогом оборудовании.
Относительная встречаемость слова (словосочетания) может быть определена, как отношение плотностей встречаемости в выборке и базе.
В этом случае, это - разные понятия.
Но чаще под этим термином понимают отношение числа встреч слова к общему числу встреч всех слов (иначе говоря, плотность).
Конечно, в любом случае получаемая случайная величина не аналогична оценке дисперсии какой-либо простой (равномерной, нормальной и т.д.) случайной величины.
Сергей, демо-версия доступна на том же сайте http://zoom.galaktika.ru (кнопочки "Энциклопедия", "Демонстрация"). Демо-база: СМИ за июль-декабрь 1998г.
Конечно, там не все опции (нет выделения аномалий, определения похожих, графиков, кластеров), но суть посмотреть (и поиграться) можно.
