Genie 4: кто управляет миром, который ИИ рисует на ходу

На сгенерированной демонстрационной записи робот Apollo играет в шашки. Gemini 4 Argon разбивает поручение на шаги, а Genie 4 последовательно изображает происходящее. Между шагами в генерацию поступают текстовые указания: из них складываются движения робота, доска и фигуры на экране.

В описании Google DeepMind соединены две разные операции: одна модель выбирает последовательность действий, другая строит её видимое продолжение. Google показывает такой совместный цикл как одно из направлений развития интерактивных моделей мира.

Google DeepMind представила Genie 4 27 октября. Модель создаёт интерактивную среду вместе со звуком. Пока сцена развивается, пользователь может двигать камеру, менять погоду и добавлять персонажей. Указания влияют на продолжение уже запущенного мира.

В опубликованном описании общего цикла Genie и Gemini наблюдателем выступает Gemini 3.8 Flash. Она получает кадры, разбивает цель на действия и оценивает продвижение по новым изображениям. Когда сцена меняется или вмешивается пользователь, Gemini корректирует план. Здесь у рассуждающей модели есть постоянный вход — наблюдаемая сцена — и возможность менять дальнейшую последовательность действий.

В отдельном опыте с Apollo используется Gemini 4 Argon. Она переводит пользовательское поручение в шаги, которые поступают к Genie текстовыми указаниями прямо во время генерации. В результате Google соединяет план действий с непрерывно создаваемым изображением партии. Общая схема с Flash и конкретная демонстрация с Argon показывают два варианта этой работы.

У готового видеоролика уже определена последовательность кадров. В Genie новое указание пользователя участвует в создании следующих кадров. Поворот камеры меняет вид на сцену; добавленный персонаж появляется в мире, где действие уже началось. Для такой работы нужно одновременно продолжать происходящее и учитывать новое описание.

В сценариях демонстраций DeepMind есть, например, полёт от первого лица на драконе над горной местностью и крупный план поездки на мотоцикле по мосту на рассвете. В первом описании подробно заданы положение камеры и видимые части всадника, во втором — свет, движение и характер съёмки. Эти примеры показывают, насколько конкретными могут быть указания для генерируемой сцены: ракурс и художественный замысел задаются вместе с действием.

На странице Genie 4 Google указывает несколько минут непрерывного взаимодействия. Во время более длинного эпизода внешний вид и расположение объектов могут меняться; это заметнее после сложных последовательных правок и перемещения по сцене. Возвращение камеры к прежнему месту поэтому может показать уже изменившийся предмет. Читаемый текст, по описанию разработчика, чаще получается, когда он заранее задан в описании мира.

Такие свойства особенно существенны для интерактивной сцены. Камера показывает один участок, затем другой, а пользователь ожидает увидеть прежний предмет после возвращения. Изображение должно связывать эти виды между собой на протяжении всего доступного эпизода. В текущей исследовательской версии именно сохранение объектов во времени остаётся одной из названных Google трудностей.

В документации MuJoCo разработчик задаёт механическую систему, после чего движок рассчитывает её движение и контакты. У системы есть численное состояние: координаты, скорости и параметры сочленений. Изображение позволяет наблюдать результат этих вычислений.

В опубликованном цикле Genie планировщик получает кадры. В MuJoCo программа может обращаться к численным величинам, из которых построено изображение: например, к положению и скорости части механизма. Это различие определяет доступные сведения о действии. Видеосреда даёт агенту зрительное наблюдение, а физический движок дополнительно предоставляет рассчитанное состояние механической системы.

Google описывает звук как часть самого мира: под ногами могут хрустеть листья, толпа — реагировать на происходящее, а персонажи — разговаривать с пользователем и друг с другом. Звук создаётся одновременно со сценой.

В опубликованных сценариях режиссёрские указания охватывают и звуковую среду: шаги, дыхание, скрип пола, тихие звуки комнаты. Поэтому пользователь задаёт не только внешний вид мира, но и то, как в нём воспринимается движение. Точность звука в реальном времени Google относит к продолжающимся исследованиям.

Для видео и звука Genie 4 компания также предусматривает SynthID — незаметную цифровую маркировку сгенерированного материала. Она добавляет к слышимому и видимому результату технический признак его происхождения.

Среди доверенных тестировщиков DeepMind названы специалисты из кино, игр, образования, журналистики и инженерных областей. Кинематографисты пробуют сцену как быстрый черновик: меняют камеру, свет, диалог и действие. Разработчики игр исследуют переход от замысла к миру, который уже можно осмотреть, прежде чем писать код игрового движка. Это ранние применения, описанные Google.

Реконструкция конкретных реальных мест пока остаётся приблизительной, а сложные взаимодействия нескольких участников — исследовательской задачей. В демонстрации с Apollo доступна определённая связка: Argon формирует шаги, а Genie разворачивает партию.

Сейчас Genie 4 доступна ограниченной группе исследовательских тестировщиков. Следующий этап Google связывает с подписчиками AI Ultra и партнёрами раннего доступа в Project Genie, Gemini API и AI Studio. Для остальных открыт лист ожидания; календарная дата общего запуска в объявлении не указана. Редакция рассматривает опубликованные материалы и самостоятельно модель не испытывала.