Тестирование словаря

Идея хорошая, но для качественной проверки придется прогнать большой объем данных.

И хотя тексты сейчас значительно чище чем раньше, но все равно

довольно много ошибок - даже при 0.1% от словоупотреблений для 100 Мбайт обработанных текстов - будет около 15 тысяч ошибок.

Плюс, допустим, столько же хороших, то есть достойных для включения в словарь, но неизвестных словарю слов (а по-видимому гораздо больше).

И огромная куча "нехороших" слов,

которые не включают обычно в словарь - фамилии,

названия мелких географических объектов, фирм, продуктов и т.п.

В результате, грубо оценивая = 100-200 тысяч строк, которые придется просмотреть ручками/глазками.

Хотя это та работа, которая делается при создании/развитии

морфословаря. Причем, ясно, однажды принятые решения могут использоваться далее. Именно за эту работу и берется "прибавочная стоимость".

Слишком много слов, которые в результате набора статистики не будут упомянуты. Много ручной работы.

Ken, у Вас явно неправильный набор текстов. Возьмите содержимое lib.ru, оно покроет 95% всех общеупотребительных словоформ ;)

Для остальных форм можно использовать статистику по количеству страниц для каждой такой подозрительной формы в яндексе (для русского) и google (для английского). Для поиска конкретной словоформы ставьте перед ней знак !, например,

!ищомый.

Большое спасибо, приступаю

Хех...

Вовсе не обязательно. Если в руках есть изменяющийся хороший набор текстов, вполне возможно периодически устраивать подобную чистку и автоматически.