Что может, что не может AI. Обсуждаем возможности, делимся опытом, спорим, но в рамках приличия.

Присоединяюсь к вопросу. Как я понимаю "основные" критерии: характеристики видео карты и объем оперативки.

понятие относительное)
можно запустить на 5080 квантизированную(урезанную) модель и получить 5-15 токенов в секунуду
мимнимальная сборка от 200-250к руб
и это не окупается в сравнении с тем, если покупать токены у провайдеров)
локально запускать имеет смысл, если у тебя уже есть железо, и урезанная модель уже закрывает какую-то задачу