Алгоритм определения ключевиков?

можно попытаться по количеству вхождений токена без учета приставки и окончания.

Совсем просто не получается. Я делал так:

1. Отбрасываем стоп-слова (предлоги, союзы, местоимения и т.п.)

2. Нормализуем оставшиеся. Если без словаря -- используем к-л алгоритм стемминга. Я использовал стеммер Портера ( http://snowball.tartarus.org/algorithms/russian/stemmer.html ). Хотя лучше все-таки нормализовать по ispell-овской базе (т.е., со словарем)

3. Сортируем то, что получилось, по частоте.

4. Отбрасываем все, что выше 10% (м.б., 9 или 8 -- в зависимости от объема текста)

5. Из оставшегося первая десятка (или сколько нужно -- м.б., все, что не ниже какого-то %) -- искомое множество.

6. Дополнительно сюда еще можно добавить слова из заголовка/названия (если не вошли)

А что за база?

Сорри а русской версии нет?

И еще может какие-то ссылочки по теме, почитать интересно :)

Segey, это база, изначально предназначенная для проверки русской орфографии. Там есть словарь основных словоформ русского языка (около 100000), и формализованные правила их изменения. Обычно по ним строят полную базу всех словоформ русского языка (с аффиксами) -- около миллиона, и затем по ней нормализуют слова, найденные в тексте. Сам ispell-словарь найти в инете не поблема, возможно, найдутся и какие-то примеры использования. Гугл рулит ;)

Nick Bubelo,

Спасибо еще раз :)

никак не могу понять - разве нужно идти не от ключевиков, по которым нужно продвигать сайт?... ИМХО, текст страницы можно и поменять...

Logistic,

Ничего не понял?

Тут решается только первая задача - список слов по убыванию частоты.

А вторую задачу должен решать оптимизатор, используя еще и свою голову.

ну я, например, сначала подбираю ключевики, и только потом подгоняю под них тексты...