FLUX 3 Image Klein: десять референсов, правки по областям и пределы компактной модели

FLUX 3 Image Klein объединяет генерацию и редактирование изображений: одна модель принимает текст и до десяти картинок, из которых можно собрать новую сцену. В официальном примере Black Forest Labs фотография собаки становится рисунком на кружке у окна. Первая картинка задаёт предмет и обстановку, вторая — изображение для переноса.

Black Forest Labs выпустила Klein 15 октября. Модель с 5,6 млрд параметров поддерживает вывод до 4K и прямоугольные области для размещения элементов. Доступны скачиваемые веса, код запуска и отдельная модель, которая превращает короткий запрос в подробное описание сцены. Для локального редактирования важны все эти компоненты: размер самого генератора описывает лишь часть системы.

В карточке FLUX 3 Image Klein отдельно перечислены генератор изображения, текстовый энкодер Qwen3-VL-4B-Instruct и автокодировщик. Энкодер переводит описание в числовое представление для генератора. Автокодировщик связывает внутреннее представление с готовыми пикселями. Перед ними работает улучшатель запроса, формирующий развёрнутое описание.

Есть два основных варианта весов. Base предназначена для дообучения, исследования и обучения LoRA — адаптеров под определённую задачу или набор изображений. Дистиллированная Klein рассчитана на повседневную генерацию и редактирование: обучение позволило сократить число шагов до 16. Для Base документация указывает 50 шагов. В дистиллированном варианте не применяется CFG — дополнительное управление силой текстового условия.

BFL также выпускает веса с уменьшенной точностью чисел. Такие форматы сокращают объём данных, который нужно хранить и передавать при расчёте. Поддержка зависит от видеокарты и программы запуска. NVFP4 относится к оборудованию Blackwell; INT8-сборки доступны для ComfyUI. При выборе локального варианта значение имеют также энкодер, улучшатель запроса и размеры входных изображений.

Black Forest Labs. Официальный логотип из пресс-набора компании.

Вместо короткой команды генератор получает полное описание будущей картинки. Prompt Upsampler от BFL — визуально-языковая модель на 9 млрд параметров, дообученная на Qwen3.5-9B. Она принимает запрос, референсы и при необходимости координаты, а затем записывает сцену: композицию, свет, материалы, цвета и положение объектов.

Для генерации, редактирования и двух вариантов работы с областями предусмотрены четыре системных запроса. При правке улучшатель рассматривает исходные изображения и описывает, какие детали меняются и какие сохраняются. Текст, который должен появиться внутри изображения, передаётся дословно в кавычках. Выход улучшателя — английское описание; пользовательская инструкция может быть на другом языке.

В коде запуска BFL этот этап включён по умолчанию. Его можно выполнить отдельно и передать готовое описание генератору, когда обе модели одновременно не помещаются на видеокарте. Вместо штатного улучшателя допускается другая языковая модель с подготовленными BFL системными инструкциями.

Референсы перед анализом уменьшаются: для одного изображения предел составляет примерно один мегапиксель, для нескольких — меньше. Небольшая деталь может получить неточное словесное описание ещё до генерации. Поэтому развёрнутый запрос представляет собой отдельный результат обработки: он показывает, какие признаки изображений система передала дальше.

В официальном наборе примеров сначала создаются белая кружка на деревянном столе у окна и золотистый ретривер на песчаном пляже. Затем обе картинки передаются на вход с просьбой поместить собаку со второй на кружку. Для этой правки опубликованы команда запуска, начальное случайное значение (seed) 23 и JSON с фактическим описанием, которое получил генератор.

Пример разделяет две роли референсов: одна картинка задаёт редактируемую сцену, другая поставляет содержание рисунка. В развёрнутом запросе сохраняются расположение кружки, её ручка, окно и освещение. Там же в репозитории показаны другие операции: добавление кофе и круассана, красной банданы собаке, превращение объекта в настольную фигурку.

Black Forest Labs: результат с двумя референсами. Исходники, параметры и команды запуска. Материалы репозитория — Apache 2.0.

В рекомендациях к модели правка описывается как полная сцена с внесённым изменением. Короткое «сделай голубым» сначала разворачивается в такое описание. Для стилизации разработчик предлагает признаки изображения — палитру, характер штриха и фактуру. Такой текст задаёт и новое содержание, и свойства исходной композиции, которые должны остаться.

Разметка добавляет к тексту положение объекта. В командной строке BFL файл boxes.json содержит прямоугольники с порядком координат «верх, лево, низ, право» и значениями от 0 до 1. Начало координат находится в левом верхнем углу. Прямоугольник [0, 0, 0.5, 0.5] занимает верхнюю левую четверть при любом разрешении.

В тексте, поступающем самой модели, карточка BFL описывает сетку от 0 до 1000. Это другая форма записи тех же относительных положений. У каждой области есть идентификатор и описание. При редактировании отдельно указываются исходный участок референса и место назначения; так координаты связывают переносимый предмет с его новым положением.

Разработчики публикуют пример добавления кактуса рядом с кружкой: исходное изображение поступает вместе с инструкцией и таблицей областей. Для генерации с нуля аналогичная разметка размещает воздушные шары над долиной. В обоих случаях координаты задают положение и масштаб объекта внутри сцены.

Black Forest Labs: добавление кактуса в указанной области. Исходники и команда запуска, Apache 2.0.

В описанных BFL ограничениях область остаётся ориентиром для генерации: объект может выходить за её края, мелкий запрошенный элемент — не появиться, а правка — затронуть соседнее содержимое. Буквы в надписях тоже могут искажаться. Эти свойства относятся к формированию изображения моделью, даже когда координаты записаны точно.

В публикации о выпуске Klein приведены измерения NVIDIA для дистиллированной INT8-модели: изображение в один мегапиксель создаётся примерно за четыре секунды на RTX 5090 и менее чем за девять на RTX 4070 через ComfyUI. Используются 16 шагов; значения относятся ко времени вычисления на GPU. Очередь, сеть и разворачивание запроса входят уже в отдельные показатели задержки API.

Та же публикация сообщает о работе INT8-сборки на RTX с 8 ГБ видеопамяти. Это условие конкретного пути запуска с управлением загрузкой компонентов. Отдельный улучшатель и генератор можно выполнять последовательно; увеличение разрешения и добавление референсов меняют нагрузку.

Веса распространяются по FLUX Kommunity License. Она предусматривает некоммерческое использование и отдельное исключение для коммерческого создания результатов Qualifying Users — пользователей, у которых совокупная валовая выручка в пересчёте на год, включая аффилированные организации, ниже $5 млн, с соблюдением остальных условий. Код запуска и улучшатель опубликованы отдельно под Apache 2.0.

Открытый код сохраняет рядом с каждой генерацией JSON: развёрнутый запрос, размер, число шагов и начальное случайное значение seed. Там же записывается guidance — параметр силы текстового условия, который используется в Base; дистиллированная версия работает без CFG. Вместе с исходными референсами такой файл описывает конкретную правку: какой предмет был перенесён, куда его разместили и с какими настройками получено изображение.