Миллиард страниц на сайте - это про размер диска, но не про нагрузку в секунду - там все равно трафик будет мизерный. Это именно ловля огромной сетью, но реально рыбок мало, разве не так?
не смешивай понятия. Я говорю не про финансовую составляющую и нужность задачи а про технические требования и реализацию.
Дошли руки до отладки сервисов. Начал с создания квизов, потому как могут быть бесплатные для учеников - я даже открыл их прохождение "без СМС и регистрации", правда в этом случае прогресс не сохраняется и к пройденным темам не привязываются.
Для ментора ситуация немного иная. Можно самому создать квиз по своему предмету, а можно отдать это ЛЛМке. Для этого добавил генерацию в Ollama - висит сервис для всех юзеров с одним ограничением - нет генерации на лету, создание квиза отправляется в очередь и время генерации зависит от нагрузки сервиса. Генерация квиза - не просто промпт. Прикручен полноценный РАГ - TF-IDF overlap + cosine. Можно регулировать threshold. Дальше работает реранкер - убираются слабые кандидаты и в запрос поппадает тольео реально полезная инфа. Ну и плюс к семантическому поиску есть еще и полнотекстовой. Если кому интересны подробности - спрашивайтеНу и плюс реализована подготовка документов. Умеет работать с любыми типами документов. Распознает сканы, тексты, пдф, извлекает инфу и добавляет в базу знаний стразу с эмбеддингами. Тут ничего не стал изобретать - взял готовую text-embedding-small модель. Потестировал вполне рабочий вариант вышел.
Начинали, но разговор пришел к нужной памяти для хостинга и я считаю, что ничего серьезного не запустишь на гиге.
Вот состояние моего сервака БЕЗ нагрузки. само приложение 450 мег. И это я еще только. впостгрес живу а в планах еще и Монга. Про ИИ - будет пост в соответствующей теме - зачем и что для этого надо.
Обычный хостинг, для LAMP вполне достаточно. А есть и менее прожорливые изделия для хостинга. Мелкий хостинг может работать даже на MS DOS 3+, с 16 битным Intel 86 процессором, в 640 килобайт памяти.
Перестань сочинять уже
Что ты там на 1 гиге нормального запустишь? У меня счас на 8 крутится и думаю докупать еще. Только оллама в супермини конфигурации 4 гига берет
Дожили...
