
Local AIРазбор
Эмбеддинги и векторные базы данных: что это простыми словами
Как текст превращается в вектор, зачем локальному AI нужна векторная база данных и как устроен RAG на домашнем сервере.
6 мин чтения
Локальные нейросети: модели, софт и железо. Что запускается на вашей видеокарте и как это настроить.

Как текст превращается в вектор, зачем локальному AI нужна векторная база данных и как устроен RAG на домашнем сервере.

Полный маршрут от нулевой установки до работающего чата с LLM на своём компьютере: выбор софта, модели, квантизации и настройка контекста.

Разбираем, из чего складывается потребление видеопамяти — веса, KV-кэш и накладные расходы — и сколько гигабайт реально нужно под разные задачи.