6 материалов
Какой DeepSeek можно запустить на домашнем компьютере, сколько видеопамяти нужно дистиллятам R1 на 7, 14 и 32 миллиарда параметров, как установить через Ollama и чем локальная версия отличается от облачного чата.
Как установить LM Studio на Windows, macOS или Linux, скачать GGUF-модель, запустить локальный чат и API. Требования, настройка и аналоги.
Что такое Ollama, как установить и запустить модель, выбрать вариант для русского языка, подключить Open WebUI, Docker и локальный API.
Полный маршрут от нулевой установки до работающего чата с LLM на своём компьютере: выбор софта, модели, квантизации и настройка контекста.
Из чего складывается потребление видеопамяти — веса, KV-кэш и накладные расходы. Таблицы по моделям от 8 до 70 миллиардов параметров, влияние квантизации и контекста, сколько гигабайт нужно под разные задачи.
Какие LLM помещаются в 16 ГБ RTX 5060 Ti, с какой квантизацией и скоростью, где упирается шина 128 бит и чем карта отличается от 8-гигабайтной версии, RTX 5070 и б/у RTX 3090.