Локальные модели для домашнего ПК: Qwen3.8-Flash-Next, Gemma и выбор по памяти

Домашняя модель начинается с памяти

4 ноября Unsloth выпустила новые сборки Qwen3.8-Flash-Next в формате GGUF. Вокруг этой модели легко встретить одновременно обещания работы на обычном компьютере и числа в сотни миллиардов параметров. Обе стороны разговора объясняет устройство запуска: часть данных помещается на видеокарте, часть остаётся в оперативной памяти, а крупные таблицы могут подгружаться с SSD. Скорость зависит от того, сколько данных приходится передавать между GPU, RAM и SSD.

Для домашнего выбора полезно разделить две задачи. Первая — получить отзывчивого помощника для текста, картинок или небольших программ на уже имеющейся видеокарте. Вторая — заставить большую модель работать на сочетании процессора, RAM и GPU, подбирая движок и способы выгрузки. Для первой задачи есть вполне компактные Qwen и Gemma. Во второй появляются Qwen3.8-Flash-Next, GLM-5.3-Flash и тяжёлые варианты DeepSeek.

Ниже — отбор для разных классов оборудования по состоянию на 8 ноября 2026 года. Основа — карточки разработчиков, рекомендации авторов квантованных сборок и опубликованный журнал домашних измерений. Там, где приведена скорость, названы компьютер, движок и режим теста. Собственных прогонов этих моделей редакция здесь не проводила.

8–16 ГБ: небольшая модель оставляет место работе

Для видеокарты с 8 ГБ разумная отправная точка — Qwen3.5-4B в четырёхбитном формате. В таблице Unsloth для такой сборки указано около 5,5 ГБ общей памяти. Часть весов при квантовании хранится с меньшей точностью: это уменьшает размер модели и даёт возможность разместить её на более скромном устройстве. Оставшееся место нужно среде исполнения и данным текущего запроса.

Qwen3.5-4B принимает текст и изображения. Это делает её подходящим начальным вариантом для вопросов по картинке, извлечения сведений из небольшого документа, переписывания текста и несложных фрагментов кода. Размер задачи здесь существенен: один экран ошибки и большой репозиторий создают разную нагрузку.

На 12 ГБ интереснее становится Qwen3.5-9B. Для четырёхбитной сборки Unsloth указывает около 6,5 ГБ, а для восьмибитной — 13 ГБ общей памяти. Поэтому у владельца 16 ГБ появляется выбор: оставить более лёгкий вариант и больше запаса либо попробовать восьмибитный. Это разные способы потратить память; длинная переписка и изображения тоже занимают место.

В общей таблице разработчиков Qwen3.5 версия 9B получает 81,7 на GPQA Diamond против 76,2 у 4B; на LiveCodeBench v6 — 65,6 против 55,8. Первый тест проверяет сложные научные вопросы, второй — решение задач программирования. Это результаты разработчика для моделей в его оценке. Они помогают понять выигрыш более крупной версии; качество конкретной четырёхбитной сборки оценивают отдельно.

Если нужна работа со звуком, рядом стоит рассмотреть Gemma 4 E4B. Google описывает её как модель с входом текста, изображений и аудио и текстовым ответом. В рекомендациях Unsloth для Gemma 4 четырёхбитная E4B занимает ориентировочно 5,5–6 ГБ, а Gemma 4 12B Unified — 7–8 ГБ общей памяти. Для ноутбука, который должен разбирать голосовые записи и картинки, это содержательное отличие от выбора только по результату программирования.

24–32 ГБ: Qwen3.8-27B как основная рабочая модель

На видеокарте с 24 ГБ наиболее прямой выбор из этой подборки — Qwen3.8-27B в четырёхбитном виде. По данным упаковщика Unsloth ориентир составляет 16–19 ГБ общей памяти. Ускорение через MTP требует дополнительно 1–2 ГБ. MTP предлагает следующие токены заранее, после чего основная модель проверяет предложение; удачные предсказания сокращают число отдельных шагов расчёта.

У Qwen3.8-27B плотная архитектура: её 27 млрд параметров участвуют в работе модели без распределения по отдельным экспертам. Она принимает изображения и видео, умеет работать с инструментами и позволяет управлять режимом рассуждений. Это кандидат на роль постоянного локального помощника по коду и документам в задачах, с которыми малые модели справляются хуже.

В карточке Qwen для 27B опубликованы 89,2 на GPQA Diamond и 61,7 на SWE-bench Pro. Второй результат относится к агенту в оболочке Claude Code и условиям, описанным рядом с таблицей. В таком испытании вместе работают языковая модель, инструменты и последовательность действий. Эти оценки стоит держать рядом с выбранной версией модели и способом запуска.

32 ГБ видеопамяти дают больше свободы в пределах той же 27B: для шестибитной сборки Unsloth указывает 23–26 ГБ, к которым при использовании MTP добавляется его запас. Ещё один вариант — Gemma 4 31B, для которой упаковщик приводит 17–20 ГБ в четырёхбитном виде. Это возможность сравнить две семьи на собственном типе задач, сохраняя достаточно памяти для исполнения.

Что скрывается за Qwen3.8-Flash-Next

Именно Qwen3.8-Flash-Next соответствует названию «3.8 Flash» в разговоре о скачиваемых весах. В официальной карточке названы 125 млрд параметров основной модели, 6 млрд активных на токен, ещё 51 млрд в таблицах n-грамм и 4 млрд для MTP. Небольшая активная часть уменьшает вычисления в одном шаге; остальные данные по-прежнему нужно где-то хранить и вовремя доставлять.

Модель использует смесь экспертов. Для очередного токена выбирается часть блоков, поэтому процессор или видеокарта выполняют лишь соответствующую часть вычислений. Большие таблицы n-грамм работают как отдельный слой поиска сочетаний токенов. Здесь домашний запуск становится задачей распределения: какие блоки держать у GPU постоянно, какие брать из RAM и какие таблицы отображать с SSD.

Текущая инструкция Unsloth показывает разницу комплектаций особенно хорошо. В таблице без MTP для четырёхбитного варианта указан ориентир 64 ГБ общей памяти, а в таблице с MTP — 97–115 ГБ. Заголовок о запуске от 32 ГБ относится к меньшим сборкам и способам выгрузки. Перед загрузкой имеет значение полный комплект файлов, включая выбранную таблицу и дополнительный модуль предсказания.

Для компьютера с 64 ГБ RAM сначала проще разместить 27B и определить, какую часть расчёта берёт GPU. Flash-Next становится отдельным экспериментом с выгрузкой и точным составом сборки. При 128 ГБ RAM и видеокарте на 24 ГБ запас для такой работы существенно больше: именно большой объём обычной памяти позволяет пробовать архитектуру, превосходящую вместимость одной карты.

У Flash-Next отдельная Qwen Community License, тогда как у Qwen3.8-27B и малых Qwen3.5 — Apache 2.0. Для коммерческого использования требуется отдельное соглашение, если сама компания или её аффилированные организации ведут бизнес по предоставлению моделей как сервиса либо самостоятельных ИИ-помощников для программирования и офисной работы. Внутреннее применение исключено из этого требования, если третьим лицам недоступны сама модель, её результаты и возможности.

Скорость на одном и том же железе зависит от движка

В журнале local-ai-bench опубликован октябрьский опыт на Ryzen 9 5950X, 128 ГБ DDR4 и машине с тремя RTX 3090. В приведённых однокарточных запусках активна одна RTX 3090 через PCIe 4.0 x8. Для Flash-Next получились следующие оценки минимальной скорости выдачи:

Метрика проекта — самая медленная минутная часть десятиминутной работы агента, с пропуском начальной минуты; счётчик использует приближение через cl100k_base. На каждый квант выполнен один такой прогон. Это точные условия, в которых движок и формат меняют итог даже при одинаковом названии модели.

Для собственных 50 свежих Python-задач проект получил 48 решений у IQ3_S и 39 у Qwen3.8-27B с отдельным рецептом на 208k. Второе сравнение было дополнительным; набор невелик и смещён к более простым задачам. Ноябрьские Dynamic v3.1 в этот октябрьский опыт ещё не входили.

GLM и DeepSeek: Flash большого класса

У GLM-5.3-Flash 320 млрд параметров всего и 18 млрд активных. Она доступна для локального развёртывания, но её место в домашней подборке связано с большими объёмами памяти. Unsloth приводит около 100 ГБ для минимального однобитного варианта и 128–150 ГБ для трёхбитного. На машине с 128 ГБ это уже подбор точной сборки и размещения данных, особенно если память нужна ещё операционной системе.

За таким выбором может стоять конкретная задача, которую GLM решает лучше в личном сравнении. Универсальную домашнюю рекомендацию из одного размера модели получить трудно. Скорость выгруженных экспертов определяется также процессором, каналами RAM, SSD и связью с видеокартой. Для основного помощника на обычной карте 27B оставляет более простой путь к рабочему результату.

DeepSeek-V4.1-Flash-1017, выпущенная 17 октября, тоже относится к большим системам. В инструкции Unsloth для однобитной сборки указаны 128–145 ГБ RAM и VRAM суммарно при таблицах Engram на SSD. Сам файл UD-IQ1_S занимает 233 ГБ, а UD-Q4_K_XL — около 501 ГБ. Такой домашний проект начинается с места на накопителе и схемы чтения данных, ещё до выбора привычного окна чата.

Выбор по уже имеющемуся компьютеру

Эта таблица — редакционные стартовые варианты по опубликованным требованиям к памяти. Указанные объёмы сборок относятся к общей памяти или единой памяти устройства; видеопамять и RAM различаются скоростью доступа. Для первого запуска полезен умеренный контекст, а длинные документы и визуальный ввод увеличивают нагрузку.

Для запуска весов в GGUF подходят программы, поддерживающие выбранную архитектуру: разработчики сборок дают рецепты для llama.cpp и графических приложений на его основе. Одноимённые файлы разных авторов могут различаться квантованием, шаблоном диалога и дополнительными модулями. Поэтому полезно сохранять вместе название файла, версию программы и настройки контекста: это описание конкретного рабочего места, к которому можно вернуться после обновления.

Главное изменение домашнего ИИ за такими цифрами видно на 24-гигабайтной карте. Плотная 27B может целиком разместиться в памяти GPU, а гораздо большая Flash-Next получает доступ к памяти остального компьютера. Во втором случае к выбору модели присоединяется выбор способа перемещения её данных — и результаты начинают различаться уже внутри одного семейства весов.