Размер словаря

- что тут добавишь ... ИМХО, это - самая сложная из перечисленных мною (навскидку) задач.

То есть у Вас обязательно должно быть слово с кодом 1, слово с кодом 2 и т.д.?

А задачу перехода от словоформы к "базовому" слову - этот же словарь должен обслуживать, видимо?

прокомментируйте пожалуйста, возможно я что-то упустил? но мне кажется что первоначальный вопросы был как минимизировать объем данных для размещения их в ОЗУ без упоминания о сжатии оных

насчет кеша, хотелосьбы тоже услышат более подробное объяснение

остальное и так оопнятно даже такому новичьку как я ;-)

Зодчий, но как можно разместить больше даннных в ОЗУ без сжатия? ОЗУ же оно же не резиновое. Процесс "умещения" большего количества данных в ОЗУ и называется сжатием.

Я могу но Вы не очень внимательны, ...

если я вас правильно понял то не совсем так, на выходе, данные которые ищутся уже по индексу, должен быть идентификатор базового слова, и к нему идентификаторы дополнений к оному которые и формируют само искомое слово соответственно и желательно все допустимые для него словоформы

- если у нас есть список словоформ - где угодно: хоть в голове, хоть на бумаге, хоть в файле - и мы говорим, что "а" имеет номер 1, то ... вот они, собственно, уже и закодированы все ... однозначно.

Задача, наверное, состоит в том, чтобы написать компактный АЛГОРИТМ, который бы производил ПРЕОБРАЗОВАНИЕ одного в другое ... Чего, кстати, одного - во что другое: слова - в его номер, или номера - в его слово?

дык это и ежу понятно. Положим, что на данный момент я располагаю 4 Гб озу в которые вполне свободно могу впихнуть все свои 1,5 Гб распакованных данных, но ведь это не выход? данные будут расти, а объем озу конечен в отличие от объема пзу, так зачем я все доступные данные буду грузить в озу? я пытаюсь ограничиться лишь словарем на основании которого получу идентификаторы всех возможных словоформ из поискового запроса

тогда акцентируйте наконец внимание на своей мысли, я всего лишь человек, к тому же человек который уже пятые сутки не спит, я могу и упустить что то

- ну так Вы же - на ходу - задачу усложняете! Чем сложнее задача, те сложнее написать для нее компактный алгоритм!

(Под алгоритмом я понимаю тройку: непосредственно алгоритм + структура данных + сами данные (словарь).)

я же не прошу писать алгоритм :-)

я лишь интересуюсь мнением людей, как это лучше сделать, какие кто предложит схемы реализации, конечный выбор и соответственно программную реализацию я все равно выберу и буду делать сам

для упрощения обсуждаемой задачи давайте остановимся на получении на выходе идентификатора основы слова, идентификаторов приставки и окончания, это если брать грубую модель

Выспитесь и внимательно прочитайте эту тему, ...