КК и КА: методика кластеризации

Судя по вопросам не один я опечален работой кластеризаторов КейАссорт и КейКоллектор.

Может обсудим и предложим авторам решение обработки больших СЯ, а то время теряется уж совсем огромное, что печально.

Как мне видится, проблема программ в том, что они совсем без интеллекта и работают, по сути, в один слой. Который дальше обрабатывать становится трудно. В идеале, если взять выгрузку, например, с КК с галками на каждое слово и топ 10 у нас получается нечто вот такое:

Уж простите, не нашёл кнопку спойлера и таблицы, так что будет образно:

слово 1 url1

слово 1 url2

слово 1 url3

...

слово 2 url1

слово 2 url8

слово 2 url28

...

Т.е., по сути, мы получаем списки слов по полной (10 совпадений), минимальной (1 совпадение) и промежуточной частоте повторения. В КК нельзя поставить основное слово. Как мне кажется, проблему можно решить довольно простым способом:

Выставление главных слов и создание подгрупп внутри их. Допустим, у нас есть "остекление лоджий" и ещё 4 тысячи слов этой и схожей тематик (ремонт, утепление, остекление цена, проч). Задаём основополагающие фразы и собираем всё лавиной в группу с минимальным сопадением, если происходит конфликт (попадает под разные группы), то считаем число совпадений, отдаём фразу туда, где совпадений больше.

И вторым этапом происходит кластеризация групп уже внутри данного кластера, как итог мы получаем либо набор страниц, либо структуру одной страницы, аккуратно под меню. Внутренний кластер может работать так же с основными словами (например, по частоте или выставленный руками), так и на основании повторений в обе стороны. Как вариант в ручную можно указывать, сколько групп должно получиться.

Т.е. у нас из 4000 слов в кластере оказалось 800, сортируем с шагом 1 (2,3,5) по количеству повторений, если есть 10 из 10, то выносим их в отдельную группу, дальше делаем следующий шаг, если собирается новый кластер, то выводим его в ещё одну подгруппу, если слова относятся к уже созданному, то переносим их туда.

Таким образом можно сильно уменьшить ручной труд и кластеризовать СЯ под главную необходимость, структуру меню и охват страницы (группы страниц).

Может у кого ещё есть мысли по этому поводу или самописный скрипт? ) Или есть другие сервисы, которые выполняют задачу лучше?