ДомЛаб

#gpu

3 материалов

Иллюстрация к статье: Сколько VRAM нужно для локального AI
Local AIРазбор

Сколько VRAM нужно для локального AI

Из чего складывается потребление видеопамяти — веса, KV-кэш и накладные расходы. Таблицы по моделям от 8 до 70 миллиардов параметров, влияние квантизации и контекста, сколько гигабайт нужно под разные задачи.

7 мин чтения