Сколько VRAM нужно для локального AI

Вопрос «сколько видеопамяти нужно для нейросети» звучит просто, но честный ответ — «зависит от трёх вещей». И одна из них регулярно ломает планы тем, кто считал только по размеру модели.

Ниже — из чего складывается потребление, таблицы для популярных моделей и практичные рекомендации под задачи. Все цифры посчитаны по той же формуле, что и калькулятор VRAM: его можно открыть рядом и проверить свою конфигурацию.

Из чего складывается VRAM#

Веса модели#

Самое очевидное. Считаются прямо: количество параметров умножить на число байт на параметр. Модель на 14 миллиардов параметров в квантизации Q4_K_M весит примерно 14,8 × 0,61 ≈ 8,4 ГБ.

Сколько байт занимает параметр, зависит от квантизации — степени сжатия весов:

KV-кэш#

Память под контекст — то, что модель «держит в голове» во время разговора. Растёт линейно с числом токенов и не зависит от квантизации весов. Считается по архитектуре конкретной модели:

KV-кэш = 2 × слои × KV-головы × размер головы × токены × байт на элемент

Двойка — это отдельно ключи и отдельно значения. На длинном контексте KV-кэш легко достигает половины размера весов, а у некоторых моделей и превышает его. Именно он чаще всего и не влезает.

Накладные расходы#

Контекст CUDA, служебные буферы, промежуточные вычисления. От 0,5 до 2 ГБ в зависимости от бэкенда, длины контекста и числа одновременных запросов.

Сколько занимают популярные модели#

Квантизация Q4_K_M, контекст 8 и 32 тысячи токенов:

Посмотрите на разницу между колонками: для Qwen3 32B переход с 8 на 32 тысячи токенов добавляет почти 7 ГБ. Это целая модель на 8 миллиардов параметров, потраченная только на контекст.

Одна модель, разные квантизации#

Как меняется потребление Qwen3 14B при контексте 8 тысяч токенов:

Практическое правило: модель побольше в Q4 почти всегда лучше, чем модель поменьше в Q8. Модель на 14 миллиардов в Q4_K_M обычно обыгрывает модель на 8 миллиардов в Q8 при сопоставимом объёме памяти. А вот ниже Q4 опускаться стоит только от безысходности: качество начинает падать заметно.

Сжатие KV-кэша#

KV-кэш тоже можно квантовать, и это самый дешёвый способ освободить память. Qwen3 32B, Q4_K_M, контекст 32 тысячи токенов:

Переход на Q8 для кэша экономит 4 ГБ и почти не влияет на качество ответов. В Ollama это включается переменной окружения OLLAMA_KV_CACHE_TYPE=q8_0 — вместе с OLLAMA_FLASH_ATTENTION=1, без которой сжатие кэша не работает.

Сколько нужно под задачу#

8 ГБ — модели до 8 миллиардов параметров с коротким контекстом. Этого хватает, чтобы попробовать, но упираться в потолок вы будете постоянно.

12 ГБ — разумный минимум на 2026 год. Модели на 12–14 миллиардов в Q4, модели на 8 миллиардов в почти исходном качестве.

16 ГБ — золотая середина. Модели на 14 миллиардов в хорошей квантизации Q6 или с длинным контекстом, модели на 24 миллиарда в Q4 впритык. Подробнее — в разборе RTX 5060 Ti 16GB для локального AI.

24 ГБ — модели на 27–32 миллиарда с нормальным контекстом. Это уже уровень, где локальная модель приближается к облачным.

32 ГБ и больше — модели на 32 миллиарда в Q6–Q8, очень длинный контекст, несколько одновременных пользователей.

Что делать, если памяти не хватает#

Порядок действий — от самого безболезненного к самому заметному:

1. Уменьшить контекст. Часто 8 тысяч токенов вместо 32 освобождают несколько гигабайт без всякого ущерба для обычного чата.
2. Сжать KV-кэш до Q8. Экономия вдвое, качество почти не страдает.
3. Взять квантизацию ниже. Q5 вместо Q6, потом Q4. Ниже Q4 — только если иначе никак.
4. Взять модель поменьше. Модель на 8 миллиардов в Q5 приятнее в работе, чем 14 миллиардов в Q3.
5. Выгрузить часть слоёв в оперативную память. Работает, но скорость падает в разы, потому что оперативная память намного медленнее видеопамяти.

Скорость зависит не от объёма#

Объём памяти решает, влезет ли модель. Как быстро она будет отвечать, решает пропускная способность памяти: при генерации каждого токена модель целиком прочитывает свои веса.

Поэтому две карты с одинаковыми 16 ГБ могут отличаться по скорости вдвое. По оценке нашего калькулятора, Qwen3 14B в Q4_K_M даёт около 40 токенов в секунду на RTX 5060 Ti с шиной 448 ГБ/с и около 80 — на RTX 5070 Ti с шиной 896 ГБ/с. Как выбрать между такими картами — в статье RTX 5070 vs 5070 Ti для локального AI.

Две видеокарты и Mac#

Две карты. Ollama и llama.cpp умеют делить модель между несколькими видеокартами. Две карты по 16 ГБ позволяют запустить модель, которой нужно 28 ГБ. Но скорость не удваивается — это способ запустить модель побольше, а не ускорить маленькую.

Mac на Apple Silicon. У Mac общая память для процессора и графики, поэтому Mac с 64 ГБ может держать модели, недоступные большинству видеокарт. Система по умолчанию отдаёт графике около двух третей — трёх четвертей памяти. Пропускная способность у младших чипов ниже, чем у видеокарт, поэтому модели работают медленнее, но зато помещаются.

Частые вопросы#

Можно ли обойтись без видеокарты? Да, на процессоре модели тоже работают, но медленно: 3–8 токенов в секунду вместо 30–80. Для «спросить и подождать» хватает, для потокового ассистента — нет. Оперативной памяти в этом случае нужно примерно столько же, сколько было бы видеопамяти, плюс 4 ГБ на систему.

Почему модель на 7 ГБ не влезает в карту на 8 ГБ? Потому что кроме весов нужен KV-кэш и накладные расходы, а часть памяти уже занята системой. Модели нужно на 1,5–3 ГБ больше, чем весит файл.

Какой объём брать на будущее? Если бюджет позволяет выбирать — 16 ГБ минимум. Модели становятся эффективнее, но и задачи растут, а память — единственный параметр, который потом не докупишь.

Что дальше#

• проверить конкретную модель и свою видеокарту в калькуляторе «Какую LLM я запущу»;
• посмотреть подробный расчёт с разбивкой в калькуляторе VRAM;
• поставить первую модель по руководству как запустить нейросеть локально;
• узнать, как устроен расчёт и чего он не учитывает, — в методике.