Калькулятор VRAM
Сколько видеопамяти реально съест модель: веса зависят от квантизации, а KV-кэш растёт линейно с контекстом — именно он чаще всего и не влезает.
Рабочий стандарт для дома
Потребуется видеопамяти
6.7ГБ
- Веса модели
- 4.7 ГБ
- KV-кэш (контекст)
- 1.1 ГБ
- Рантайм и активации
- 0.9 ГБ
Видеокарта от
8 ГБ
Если на CPU — RAM
11 ГБ
Минимально подходящие видеокарты
- ✅ GeForce RTX 5060 Ti 8GB · 8 ГБ~72 tok/s
- ✅ GeForce RTX 5070 · 12 ГБ~108 tok/s
- ✅ GeForce RTX 3060 12GB · 12 ГБ~58 tok/s
- ✅ Intel Arc B580 · 12 ГБ~73 tok/s
Скорость — грубая оценка по пропускной способности памяти. Реальные цифры зависят от бэкенда, драйверов и длины промпта.