Gemini 4 Carbon: сильные результаты в киберзащите и доступ по приглашению

Google начинает выдавать Gemini 4 Carbon ограниченной группе специалистов по киберзащите. Разработчикам, компаниям и обычным пользователям доступ обещан позднее; даты общего запуска в анонсе от 28 октября нет. Новая модель должна помогать находить уязвимости, подтверждать возможность их использования и исправлять код. Именно эти три разные задачи определяют смысл её первых результатов.

В анонсе Google указаны 88,2% на SEC-bench Pro, 54,8% на ExploitGym и 71,0% на CWE-bench. Эти испытания проводились без защитных ограничений. Доступ постепенно расширят через программу Fairwind, пока компания собирает отзывы и дорабатывает защиту.

SEC-bench Pro проверяет поиск ошибок безопасности и создание программного доказательства того, что ошибка действительно воспроизводится. Агент получает подготовленную среду с целевой программой; система запускает его с ограничением времени, собирает созданные файлы и передаёт их проверяющему механизму. В опубликованной совокупной таблице объединены 344 задания для V8, Firefox и Linux.

Наличие уязвимости проверяют программой, которая воспроизводит сбой. Но на открытой странице SEC-bench Pro, просмотренной 8 ноября, результата Carbon нет. Число из анонса остаётся результатом, сообщённым Google; подтвердить его по текущей таблице разработчиков теста редакция не смогла.

ExploitGym, созданный Чжунем Ваном и соавторами, проверяет следующий этап: разработку средств эксплуатации реальных уязвимостей. Его задачи охватывают пользовательские программы, движок V8 и ядро Linux. Текущая версия репозитория содержит 869 испытаний. Авторы публикуют код среды, инструкции запуска, механизм проверки и средства сетевой изоляции контейнеров.

Такая постановка объясняет, зачем защитникам вообще измерять способность модели проводить атаку. Найденная ошибка и возможность добиться через неё нежелательного поведения системы — разные результаты. Испытание эксплуатации проверяет второй. Одновременно эта способность пригодна и для нападения. Назначение модели для киберзащиты само по себе не меняет характер выполняемой операции: решающими остаются объект проверки, разрешение на неё и ограничения доступа. Результат на наборе подготовленных задач также не описывает успешность произвольной атаки на действующую сеть.

У CWE-bench, разработанного Collinear AI, другая цель: агент должен исследовать репозиторий и исправить уязвимости, сохранив работоспособность программы. Ему заранее не сообщают ни расположение ошибок, ни их количество. В архиве версии v1 сохранилась таблица, обновлённая 28 октября: у Carbon 71% по программной проверке с одной попытки и 81% при учёте четырёх попыток. В этой таблице результат Carbon подтверждён самим оператором испытания.

CWE-bench v1 включал 120 закрытых заданий и 73 типа программных слабостей. Каждой модели предоставляли четыре попытки на задачу, каждая длительностью до часа. Проверка требовала, чтобы способ эксплуатации перестал работать, а существующие тесты программы продолжали проходить. Отдельно исправления оценивала группа из трёх моделей-судей. Программная проверка и суждение такой группы — разные способы оценки, поэтому авторы показывали их рядом.

Pass@1 показывает долю успехов при одной попытке, а pass@4 — долю задач, решённых хотя бы в одной из четырёх попыток. Задача с тремя неудачными попытками и одной удачной засчитывается во втором показателе как решённая. Поэтому сравнение 71% одной попытки с чужим результатом четырёх попыток изменило бы условия соревнования. Даже внутри одной таблицы название столбца определяет, что именно удалось модели.

2 ноября разработчики представили новую версию — CWE-bench v2. В ней 250 заданий: 100 открытых и 150 закрытых. Изменились охват типов уязвимостей и отбор проверок; результат Carbon в опубликованной таблице v2 отсутствует. Переносить его 71% из v1 в эту таблицу нельзя. У числа остаётся проверяемый исторический смысл: оно относится к прежнему набору задач и прежней процедуре оценки.

Открытая часть v2 позволяет другим исследователям запускать испытания самостоятельно. Задания закрытой части не публикуются, чтобы разработчики моделей не могли заранее готовиться именно к ним. Эти две возможности решают разные проблемы измерения: воспроизводимость и проверку на ещё не раскрытых примерах. Ни одна отдельная таблица не охватывает все программы, все классы ошибок и все способы их исправления.

В анонсе Google от 28 октября указаны 59 баллов в версии индекса Artificial Analysis v5.0. При проверке 9 ноября страница самого индекса называла Carbon (High) лидером с оценкой 60 в версии v5.0.1. Это независимое измерение совокупного результата модели; оно дополняет испытания кибербезопасности, опубликованные Google.

Согласно методике Artificial Analysis, у четырёх категорий индекса одинаковый вес — по 25%: профессиональная работа, программирование, наука и общие знания. Внутри используются разные испытания, а итог переводится на шкалу от 0 до 100. Полученные 60 баллов не обозначают долю любых реальных задач, которые модель способна выполнить. Это значение составного показателя с определёнными весами.

В состав индекса входят разные задания. AA-Briefcase проверяет подготовку документа по исходным материалам, AutomationBench-AA — действия в программных приложениях, FrontierCode 2.0 — работу с кодом. Общий балл объединяет эти результаты с заданными весами. Для оценки исправления уязвимостей у CWE-bench остаётся собственная процедура: способ эксплуатации должен перестать работать, а тесты программы — продолжать проходить.

Для проверки фактических ответов Artificial Analysis использует AA-Omniscience. На странице Carbon в Artificial Analysis объяснено устройство AA-Omniscience: правильный ответ приносит баллы, выдуманный штрафуется, отказ отвечать не штрафуется. Такая оценка поощряет сдержанность там, где модель не знает факта.

Оговорка об испытаниях без ограничений особенно важна для закрытого запуска. Возможность выполнить опасное действие и готовность доступного пользователю сервиса выполнить такой запрос — разные измеряемые свойства. Защитный слой может остановить запрос до выполнения; тогда результат сервиса будет зависеть и от правил доступа, и от поведения самой модели.

Связанный с анонсом отчёт Google о безопасности посвящён Gemini 4 Argon, предшественнице Carbon. Это прямо сказано в его названии и вводной части. Документ объясняет, что базовые испытания обычно проводились без внешних производственных механизмов защиты, а при развёртывании добавляются дополнительные ограничения во время обработки запросов. Для сложных задач исследователи также предоставляли модели инструменты и рабочую среду. Следовательно, измерялся результат модели в определённой системе, с определённым вычислительным бюджетом.

Этот отчёт помогает понять методику семейства Gemini 4. Его результаты нельзя автоматически приписать Carbon. Сходство защитного подхода не заменяет отдельной проверки новой модели: измениться могут и способности выполнять задачу, и поведение при опасном запросе.

Для будущего запуска Google объявила вводную цену: 2 доллара за миллион входных токенов и 10 долларов за миллион выходных. Токены — единицы текста, по которым рассчитывается обработка. После вводного периода ставки составят 4 и 20 долларов соответственно. Дата окончания этого периода не названа. Поэтому объявленный тариф пока описывает условия предстоящего предложения, а не подтверждает общедоступность API.

За первым местом Carbon уже есть независимые измерения, а за результатом исправления уязвимостей — архивная таблица оператора CWE-bench. При этом первые пользователи получают доступ в ограниченном порядке. Для этого запуска существенна именно связь между двумя процессами: Google расширяет возможности поиска и исправления ошибок, одновременно решая, кому и в каких условиях их предоставить. Пока опубликованные измерения описывают способности модели, а объявленный порядок доступа — ограниченный запуск для отобранных специалистов. Срок перехода к общедоступному продукту Google не назвала.