量子位

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

8.5内容质量

TL;DR · AI 摘要

MIT研究显示,GPT-6 Astra通过直接修改Qwen权重,无需训练即可使数学能力提升6倍。

核心要点

  • 修改0.016%权重使Qwen数学得分从7.9%提升至48.1%
  • Astra通过权重空间编程实现无需梯度下降的模型优化
  • 从零编写小游戏网络权重得分超PPO基线20倍

结构提纲

按章节快速跳转。

  1. MIT研究团队展示GPT-6 Astra通过直接修改模型权重实现性能飞跃

  2. Astra在Python环境中分析Qwen3.5权重并进行针对性修改

  3. 修改0.016%权重使MATH-500得分提升6倍

  4. 通过权重空间编程识别并修正推理循环问题

  5. 成功编写小游戏网络权重超越传统训练方法20倍

  6. 可能改变模型优化范式,减少对传统训练的依赖

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • GPT-6 Astra权重修改技术
    • 实验方法
      • Python环境分析权重
    • 核心成果
      • 数学能力提升6倍
      • 无需训练优化
    • 应用案例
      • 小游戏网络编写

金句 / Highlights

值得收藏与分享的关键句。

#GPT-6 Astra#权重修改#MIT研究#模型优化
打开原文

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍 – 量子位

扫码关注量子位

<div class="top_search"> <form role="search" method="get" class="search-form" action="https://www.qbitai.com/" id="search"> <label> <input type="search" class="search-field" placeholder="搜索…" value="" name="s"> </label> <button type="submit" class="search-submit"></button> </form> </div>

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

articlead begin

articlead end

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

鹭羽

2026-11-03

09:57:30

来源:

量子位

摘要样式

指令执行能力也同步提升

鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI

GPT-6 Astra能直接读取编辑小模型权重了。

MIT刚刚做了个实验,瞬间引爆大模型圈——

0.8B的「源神」Qwen3.5交给Astra,仅改动其中 0.016% 的权重,模型性能可以直接飞升。

全程没用训练,也没梯度下降。

同样的采样设置下,MATH-500得分从7.9%飙升到48.1%,数学运算能力是原来的约 6倍 。

甚至连原本没要求优化的指令执行能力也通通提高了3倍。

而修完模型还没完,让Astra 从零写小游戏网络的权重 ,效果也是不错。

它一次回复交卷,得分超过训练了5亿步的PPO基线20倍。

视频链接:https://mp.weixin.qq.com/s/tdEmYQz4B9W4OfNpkU-anw

团队给这套打法也起了个名字:

Weight-Space Programming,权重空间编程。

Astra爆改模型权重

简单来说,就是让大模型直接分析神经网络权重,判断它在做什么、哪里出了问题,再按要求修改,甚至从零写出一个网络。

具体过程,先看最直观的 Qwen实验 。

研究者给Astra准备了一个Python环境,里面放着Qwen3.5-0.8B的全部权重。

要求只有一条:尽可能提高模型数学能力。

通常训练模型,要根据输出与目标之间的差距计算损失,再通过反向传播得到梯度,由优化器更新参数。

这次,具体改什么、怎么改,要由Astra分析后决定。

于是它发现,这个小模型的数学表现,有一大截是被 推理循环 拖下去的。

一道题摆到面前,它反复生成相似文字,却迟迟交不出答案。在最初96条练习回答里,有85条一直跑到了32768个token的长度上限。

而且这个问题连Qwen自己的模型卡都提醒过。。。

Astra沿着失败表现一路查下去,把循环追到了 前馈网络 ,并在第15层和第19层的各64个输出列中修改相应权重影响。

最终,MATH-500回答触及长度上限的比例,从93.0%降到了33.1%。

研究者又分别给了Astra 10、25和50次前向调用预算,修改后的MATH-500得分依次是12.3%、14.1%和48.1%。

其中 Astra省掉的是梯度训练 ,但模型诊断和验证都还在。

那么它是如何从权重中找到这些线索的呢?

先看阅读能力。

研究者训练了四个玩不同游戏的小网络,再把原始权重以文本形式交给Astra。其中四个网络的架构、输入通道和动作选项完全相同。

结果,Astra 正确认出了 四个游戏名称:打砖块、乒乓、吃豆人、高速公路。

其中打砖块这一局,Astra是通过 权重集中的位置 进行推断的。

换成生成图像的扩散模型,它也能从权重中辨认圆形、方形和三角形。

不过,细节上翻了个车:模型实际生成实心图形,它却全读成了轮廓。

形状能看对,但填充没看出来。

研究者接着增加难度,拿来三个720万参数的小语言模型,分别用Python代码、日语罗马字和英语训练,再移除输入、输出层,只留下中间四个Transformer模块。

这下,连哪个数字对应哪个字符都不知道,模型也没法直接运行文本了。Astra用Python分析权重,但不能给这些网络或其中的层输入数据、观察运行结果。

但它仍然在两轮尝试中认对了三个模型所学的语言,还找出了全部 归纳头 。

从识别用途,到定位内部部件,再到修改行为,这条路径开始接上了。

另一个小车爬坡实验,就把修改效果变成了能直接看到的动作。

原本用PPO训练的网络总是往坡上冲,然后卡住;要过关,得先倒车拉开距离,再加速冲坡。

研究者给出权重、场景描述和一段失败记录,Astra不用工具,一次回复写出补丁,只改了3.5%的权重,就让小车在1024次测试中 全部成功 。

模型没能通过训练学会的 动作顺序 ,被Astra直接写进了权重。

训练不存在了?

既然能往现成网络里补逻辑,研究者干脆又把要求往前推了一步:

给你一个权重全为零的网络,直接把它写成能用的。

在MinAtar小游戏实验里,Astra拿到游戏规则、源代码和指定网络结构。没有训练数据、损失值、梯度和工具,也不能先把网络放进环境里试跑。

它需要自己想好策略,再把策略转成各层权重,一次回复交卷。

最后,Astra生成网络的平均得分可达 517.4 。

作为对照,PPO训练1亿步得15.8,训练5亿步得25.3,直接超了 20倍 。

这项工作的看点,是让一个现成的通用前沿大模型,围绕自然语言目标, 自己分析和改写权重 。

Astra本身积累的知识与能力,仍然来自它此前的训练;分析权重、生成代码、批量推理和评测,也都要花计算资源。

GPU暂时还不用准备退休。

但下次小模型表现不好,开发者可能真能先多问一句:

这次,还需要重新训练,还是直接 改权重 就行?

参考链接: [1] https://x.com/i/trending/2117328869283840499 [2] https://rikiyat.github.io/blog/weight-space-programming/ [3] https://x.com/rikiyatakehi/status/2117313742891327994

版权声明

版权所有,未经授权不得以任何形式转载及使用,违者必究。

AI

模型权重

作者文章列表

  • 央视严选「中国AI创业十骏」:唯一AI制药公司是清华系 2026-11-02
  • 多智能体协同重构医疗AI!清华AIR孵化:医生AI分身“坐诊”医院 2026-10-21
  • RSI三块关键拼图,MemT 1.0从模型层补上「记忆」 2026-10-20
  • 突发!DeepSeek新模型发布,超级性价比斩杀一切 2026-10-17

左侧分享

扫码分享至朋友圈

相关阅读 start

相关阅读

#### “我们AI预测总统,比人类民调专家强多了”

剧情跌宕起伏,仍然成功预测获胜者

萧箫

2020-11-09

人工智能公司

美国总统

群体智能

#### GPT-4写代码能力提升21%!MIT新方法让LLM学会反思,网友:和人类的思考方式一样

Pine

2023-03-26

GPT-4

#### AI独角兽思必驰再获4.1亿投资,产业基金纷纷加持,近三年业务复合增长300%

雷刚

2020-04-07

思必驰

独角兽

苏州

语音

#### “留给人类阻止AI的时间不多了”

AI有可能终结我们所有人

henry

2026-09-19

对齐

#### AI倒查论文100年!99.2%的顶刊都有问题...

科研人快来啊,天上掉选题了

听雨

2026-08-10

#### 无需外部数据!AI自问自答实现推理能力进化

带有强化学习的GAN

时令

2025-08-08

相关阅读 end

热门文章 start

热门文章

#### 刚刚,DeepSeek重磅开源:Agent底座架构!

2026-10-31

#### 刚刚,Gemini 4 Carbon全面超越Opus 5.5!首发Token半价

2026-10-29

#### Physical RSI第一站!便利店打工“人”自己进化,物理AI飞轮启动了

2026-10-27

#### 榜一,拿来吧你!智元这波双模型杀穿多榜榜单

2026-10-30

#### Claude紧急叫停!暗改Harness禁止逆向游戏

2026-11-01

<form role="search" method="get" class="search-form" action="https://www.qbitai.com/"> <label> <span class="screen-reader-text">搜索:</span> <input type="search" class="search-field" placeholder="搜索…" value="" name="s" /> </label> <button type="submit" class="search-submit"><span class="screen-reader-text">搜索</span></button> </form>

热门文章 end

底部版权

  • 关于量子位
  • 加入我们
  • 寻求报道
  • 商务合作

<a href="/?page_id=183"target="_blank"><i class="weixin_icon"></i></a>

追踪人工智能新趋势,报道科技行业新突破

<p>量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1</p>

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1