Как грамотно построить индекс?

Впервые собираю поисковый движок, столкнулся с проблемой составления индекса. Предполагаемый размер индекса 200 Мб. Предполагается сделать поиск по сайту и проиндексировать 150 региональных сайтов. Теоретически индекс должен составлять 20% от индексируемых объектов, но у меня выходит 30-40%, что великовато. Библиотеку пишу на C#, open-source аналоги, как правило, зарубежного производства рассчитаны на языки германской или романской группы, не проходят тестирование русским языком.

Индекс собираю в трех таблицах файловой системы: 1. данные о документе, 2. основные ключевые слова по весу, 3. остальные ключевые слова документа тоже по весу (самая большая таблица в индексе). Сначала читается таблица 2 – результаты запроса сравниваются и если материала для анализа не хватает, читается таблица 3, после чего выводится результат.

Возможно мои представления о составлении индекса наивные, но материала по этому вопросу столь много, что мне не прочитать и не осмыслить за короткое время, которое у меня имеется для создания сборки.

Прошу помочь советом по созданию эффективного индекса в рамках моей задачи. Скорость работы библиотеки весьма высока, можно добавить дополнительный анализатор. Как грамотно построить индекс?

Кто может объяснить на пальцах?