Weight-Space Programming: как ИИ исправляет другую нейросеть без дообучения

В эксперименте исследователей MIT маленькая языковая модель стала гораздо чаще доводить решение математических задач до ответа после того, как другая модель изменила часть её весов. Однако рядом с удачным исправлением обнаружилась существенная граница метода: добавить математические способности другой нейросети тем же способом не удалось.

Исследовательское описание MIT CSAIL «Sparks of Weight-Space Programming» опубликовано 2 ноября 2026 года. Rikiya Takehi, Jayden Teoh, Alex Zhang и Omar Khattab проверяют, может ли языковая модель распознавать поведение другой сети и исправлять её параметры по словесному заданию.

Модель Qwen3.5-0.8B часто повторяла собственные рассуждения, пока не исчерпывала разрешённую длину ответа. Исследователи попросили GPT-6 Astra разобраться в сбое и изменить параметры Qwen. В исходных условиях результат на математическом тесте MATH-500 составлял 7,9%; после редактирования он достиг 48,1% при тех же настройках генерации. Разница — 40,2 процентного пункта. Она выглядит особенно большой потому, что исходная конфигурация очень часто вообще не успевала выдать окончательный ответ.

Авторы показали возможность адресного вмешательства в вычисления нейросети. Переносить этот результат на произвольную модель и обещать ей сопоставимый рост качества пока рано.

Веса — числовые параметры, которые определяют преобразование входных данных внутри нейросети. Слой получает набор чисел, умножает его на матрицы весов, применяет предусмотренные архитектурой операции и передаёт результат дальше. Во время обычного обучения алгоритм вычисляет ошибку на примерах и меняет параметры так, чтобы уменьшить её. Градиент указывает, как изменение каждого параметра повлияет на ошибку; оптимизатор использует эту информацию для следующего шага.

При Weight-Space Programming языковая модель получает описание задачи и доступ к параметрам другой сети. Затем она предлагает непосредственные изменения чисел: например, ослабить определённый компонент вычисления или записать в слоях заданное правило. В обсуждаемой работе ей запрещали запускать обычное обучение с вычислением градиентов. В некоторых опытах запрещали даже проверочный запуск редактируемой сети; в других разрешали ограниченное число запусков и анализ их результатов.

Эта разница существенна. Модель, которая по одному набору параметров определяет назначение сети, и модель, которая пробует исправления, наблюдая ответы на задачи, работают с разным объёмом информации. Оба режима входят в исследование, но позволяют делать разные выводы о самостоятельности анализа. Формулировка «ИИ просто посмотрел на веса» подходит далеко не ко всем его результатам.

В первом эксперименте авторов MIT CSAIL Astra передали параметры четырёх небольших сетей, обученных разным играм, и попросили назвать эти игры. Она правильно определила все четыре, включая Pong и Pac-Man. Названия заранее не раскрывали; устройство сетей, представление игрового поля на входе и набор возможных действий были одинаковыми. Astra получила описание входов и действий вместе с весами, поэтому задача состояла в распознавании обученного поведения по параметрам, а не игры по одной архитектуре. Это показывает, что в устройстве обученных вычислений могут сохраняться признаки задачи, доступные анализу другой модели.

У такого распознавания есть понятная техническая основа. Игровое поле в этом опыте представляли сеткой с отдельными каналами для разных типов объектов. По тому, к каким клеткам и каналам ведут сильные связи, можно судить, какие области поля существенны для поведения сети. Значение имеют и выходы: какие действия сеть различает, как связывает их с положением объектов. При этом успешное название игры ещё не описывает полностью алгоритм поведения. Исследовательская ценность результата зависит от того, насколько глубокое объяснение можно затем проверить.

Следующий опыт уже менял поведение. Маленькая управляющая сеть раз за разом направляла машину на подъём и застревала. Astra получила её веса и запись неудачной попытки. После изменения 3,5% параметров машина смогла проходить испытание. В первичном описании уточняется результат: успех во всех 1024 проверенных эпизодах. Такой объём проверки подтверждает исправление в данной среде; он не устанавливает надёжность управления настоящим автомобилем или даже на произвольных новых трассах.

В первом опыте от модели требовалось объяснение уже существующих параметров. Во втором ей дали наблюдаемую ошибку и конкретную цель изменения. Чтобы признать второй результат, необходимо проверить выполненные действия сети после вмешательства. Правдоподобное описание причины само по себе для этого недостаточно.

Наиболее громкие числа относятся к Qwen3.5-0.8B — модели примерно с 800 миллионами параметров. Astra работала с Python и могла запускать Qwen на тренировочных задачах. Тестовые задания ей не показывали. Поэтому в этом опыте были и вычисления, и обратная связь: ответы помогали выявлять сбой и оценивать изменения. Запрет касался градиентного обучения, а не всякой вычислительной работы.

MATH-500 — набор из 500 математических задач; в авторской оценке модель отвечала на каждую четыре раза. Проверка шла с включённым режимом рассуждений и пределом в 32 768 новых токенов на ответ. Если модель повторяет рассуждение до предельной длины генерации, она расходует доступные токены — фрагменты текста, которые выдаёт последовательно, — и может закончить без итогового ответа. После устранения такого сбоя больше решений доходят до этапа, на котором их можно признать правильными. Число зачтённых задач растёт даже без доказательства того, что сеть освоила новый математический приём.

Два показателя одного опыта: после правки выросла доля правильных ответов и сократилась доля генераций, достигших предела длины. Рисунок редакции по авторской таблице MIT, Experiment 8, 2 ноября 2026 года. Режим рассуждений и настройки генерации одинаковы. В таблице показано совместное изменение двух показателей; вклад сокращения генераций на пределе длины в общий прирост качества отдельно не измерен.

Авторы связывают прирост Qwen с исправлением повторяющихся рассуждений. При одинаковых настройках вырос и результат проверки следования инструкциям IFEval. Устранение зацикливания помогает модели довести до конца и математическое решение, и ответ на обычный запрос; отдельно приобретённые математические знания в этом опыте не измерялись.

В дополнительном эксперименте авторов Astra не смогла заметно улучшить Gemma, у которой подобных повторов почти не было. Ошибки рассуждения сохранились. У метода обнаружилась граница: убрать повторяющийся сбой оказалось легче, чем исправить разнообразные ошибки вычислений и логики.

В независимом отчёте пользователя pngwn на Hugging Face, датированном 3 ноября, отдельно проверены опубликованные правки и результаты их применения. Для отредактированной Qwen автор получил 68,4% на GSM8K, тесте текстовых математических задач, и 63,0% на IFEval, проверке следования инструкциям — близко к опубликованным 67,1% и 62,3%. Отчёт также перечисляет ограничения: сам процесс работы Astra воспроизвести не удалось, поскольку модель была недоступна проверяющему; часть оценок использовала меньше повторных генераций.

Эта проверка подтверждает полезность сохранённого изменения весов. Она оставляет открытым другой вопрос: насколько надёжно редактор найдёт столь же хорошее исправление при новом запуске. Готовая правка и способность заново её обнаружить — два отдельных результата, для каждого нужен собственный эксперимент.

OpenWSP проверяет именно это различие. В опубликованных материалах проекта применение авторской правки дало 50,6% на MATH-500. Собственная попытка редактора с бюджетом 50 пакетных проверок получила 12,9%. Каждая такая проверка могла включать множество задач; речь не о 50 отдельных ответах. Новую правку оценивали по четырём ответам на задачу, готовую — по одному. В OpenWSP также перечислены отличия восстановленной программной среды от исходной, поэтому эти числа нельзя считать строгим сравнением при полностью одинаковых условиях. Разрыв результатов показывает, почему слово «воспроизведено» требует уточнения: повторная оценка готовых весов и получение новых весов дали разные результаты.

Есть и более простой контроль. В той же работе OpenWSP исходная Qwen с выключенным режимом рассуждений и рекомендованными для него настройками набрала 46,8%. Менялись одновременно режим и параметры генерации; приписывать весь эффект одному переключателю нельзя. Тем не менее сравнение показывает, что 7,9% характеризуют конкретную исходную конфигурацию. Читатель не должен принимать это число за предел возможностей неизменённых весов Qwen.

Идея, что одна нейросеть производит параметры другой, существовала задолго до нынешней публикации. В работе HyperNetworks, впервые представленной в сентябре 2016 года, David Ha, Andrew Dai и Quoc Le исследовали сети, генерирующие веса для других сетей. Такую гиперсеть обучали сквозным методом с обратным распространением ошибки. Следовательно, само получение весов от нейросети давно имеет исследовательские предшественники. Здесь интерес вызывает использование универсальной языковой модели, которой задачу формулируют словами, без специального обучения редактора под конкретный опыт.

Другую линию представляет ROME — Locating and Editing Factual Associations in GPT, работа Kevin Meng и соавторов 2022 года. Исследователи искали внутренние вычисления, от которых зависит воспроизведение определённой фактической связи, а затем изменяли веса соответствующего модуля. Оценка включала существенную для любого редактора пару требований: исправление должно переноситься на другие формулировки вопроса, сохраняя соседние сведения, которые менять не требовалось. Успешная целевая правка ещё требует проверки побочных эффектов.

Есть и способ заранее получить сеть с известным алгоритмом. В Tracr, представленном David Lindner и коллегами в 2023 году, программы компилируются в трансформеры. Авторы демонстрировали подсчёт частот токенов, сортировку и проверку скобок. Заранее известное устройство вычисления позволяет проверять методы интерпретации: исследователь может сравнить предложенное объяснение с тем, что действительно было заложено в модель. Для Weight-Space Programming такой подход важен как способ отделять правильное понимание механизма от убедительного рассказа о нём.

У исследователей уже были методы записи вычислений в параметры и адресного изменения отдельных связей. Новый вопрос состоит в том, какую часть этой работы универсальная языковая модель способна выполнять по словесному заданию и насколько воспроизводимым будет результат.

Авторы опубликовали журналы опытов, ответы редактора и изменения весов. Это позволяет изучать конкретное вмешательство вместо того, чтобы судить о нём по одной итоговой диаграмме. При этом в репозитории прямо указано: включены описанные в публикации запуски, а предварительные попытки с ранними версиями запросов опущены. Частоту успеха метода во всём процессе разработки по такому набору восстановить нельзя.

Пока самый убедительный результат этой истории — исправленный сбой с доступной правкой и измеренным эффектом. Рядом остаются неулучшенная Gemma и менее удачная новая попытка OpenWSP. Эти опыты очерчивают подтверждённые возможности Weight-Space Programming: конкретную ошибку иногда удаётся устранить без дообучения; устойчивого способа добавлять любой сети новые способности ещё не показано.