Simon Willison's Weblog

Qwen 3.8 27B on my laptop can interpret model weights, too

8.5内容质量

TL;DR · AI 摘要

Qwen 3.8 27B可在笔记本电脑上直接解析和修改模型权重,实现类似GPT-6 Astra的Weight-Space Programming能力。

核心要点

  • Qwen 3.8 27B通过解析权重数据可提升数学任务准确率从7.9%至48.1%
  • Weight-Space Programming使模型无需训练循环即可修改其他模型权重
  • 论文实验显示修改0.016%权重即可解决Qwen3.5-0.8B的数学推理循环问题

结构提纲

按章节快速跳转。

  1. 介绍Qwen 3.8 27B实现权重解析能力的背景与意义

  2. 定义通过分析权重直接修改模型行为的新范式

  3. 展示GPT-6 Astra在游戏网络和数学模型上的权重修改效果

  4. 证明Qwen 3.8 27B可在本地复现论文核心成果

  5. 量化展示权重修改对MATH-500和IFEval指标的提升效果

  6. 分析该技术与传统模型优化方法的本质区别与争议

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Weight-Space Programming
    • 核心概念
      • 直接解析模型权重
      • 无需训练循环
    • 实验验证
      • 游戏网络重构
      • 数学模型优化
    • 技术争议
      • 工具使用边界
      • 人类研究员对比

金句 / Highlights

值得收藏与分享的关键句。

#Qwen#Weight-Space Programming#模型权重修改#AI研究
打开原文

我的笔记本电脑上的 Qwen 3.8 27B 也能解释模型权重

Simon Willison 的博客

通讯

#smallhead

由以下公司赞助:

Greptile —— 你的代码审查工具通过运行你的应用并点击操作来发现 bug。现在你可以配置它的测试环境并定义它测试的关键用户流程。

免费试用

我的笔记本电脑上的 Qwen 3.8 27B 也能解释模型权重

2026 年 11 月 3 日

昨天的热门论文是 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同撰写的《权重空间编程的火花:LLM 可以原生读取和写入神经网络权重》。该论文发现,前沿模型(尤其是 GPT-6 Astra)能够解释和修改机器学习模型的原始权重——字面意义上就是包含一堆浮点数的模型文本描述。我一直在尝试论文中的一个示例,非常高兴地分享 Qwen 3.8 27B 在我的笔记本电脑上也能做到这一点!

#### 权重空间编程

这是他们摘要中的亮点内容,描述了 GPT-6 Astra 的惊人能力,并首次提出“权重空间编程”这一术语,用于描述 LLM 分析和修改模型权重时的场景:

仅通过观察原始权重,GPT-6 Astra 就能判断网络训练的目标。在没有环境反馈的情况下,它能从零开始编写小型游戏网络,这些网络的表现优于使用 PPO 训练了 1 亿步的网络。同样,当被要求在不使用梯度的情况下让 Qwen3.5-0.8B 更擅长数学时,Astra 识别出了导致推理循环的问题权重(Qwen 自身的模型卡片也警告过这一问题),并通过原生编辑 0.016% 的权重进行修复。在相同的采样设置下,这种权重修正将 MATH-500 的准确率从 7.9% 提升至 48.1%,并且开箱即用地推广到指令遵循任务,使 IFEval 提升了 3 倍。所有这些都无需允许 Astra 编写训练循环。它通过推理判断神经网络的每个部分计算了什么或应该计算什么,并相应地调整权重。我们将这种能力称为“权重空间编程”。

该论文结合了两个我认为应该分别讨论的主题。第一个是模型在不运行工具或执行代码的情况下,能对原始权重做些什么。第二个则探讨了模型一旦拥有代码,能多好地运行操作来更新和改进其他模型。

spaCy 作者 Matthew Honnibal 认为这篇论文具有误导性,因为它混淆了这两个主题。Sean Goedecke 对 Qwen3.5-0.8B 更新示例进行了拆解,指出其采取了与人类 ML 研究人员相同的步骤。

我将专注于“无需工具”的问题,我认为这比另一个问题更有意思。

论文将第一个问题表述为“LLM 能否从权重中理解模型行为?”他们训练了四个神经网络,用于在简化版的 10x10 网格上玩四种经典电脑游戏——Breakout、Pong、Pac-Man 和 Freeway(我得查了一下,这是 1981 年 Atari 2600 的游戏)。然后他们将这些权重(以浮点数形式)与以下问题一起输入给 LLM:

下面的权重属于一个通过强化学习训练的策略网络,用于在该网格上玩游戏。它是被训练用于哪款游戏?请从权重中推断。你没有任何工具:不能执行代码、不能使用计算器、没有可运行的任何东西。这只需要一个回答。

与论文配套的 GitHub 仓库是 RikiyaT/lm_understand-logs。exp1_which_game 文件夹中包含他们使用的提示模板,其中包含四个游戏的权重文件:

  • breakout/prompt.txt
  • freeway/prompt.txt
  • pacman/prompt.txt
  • pong/prompt.txt

我检查过,除了权重文件外,所有提示模板的内容完全一致。

#### 使用 Qwen 3.8 27B 和其他模型进行测试

GitHub 上的提示模板是自包含的。我的 LLM 工具支持 -f/--fragment 参数,可以通过该参数传递文本文件的 URL 作为提示模板,这意味着我可以像下面这样运行上述任意一个提示:

code
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
  -m openrouter/moonshotai/kimi-k3.1-pro

这个示例需要安装 llm-openrouter 插件,通过 OpenRouter 使用 Kimi K3.1 Pro 模型运行 Breakout 提示。这是我从 Kimi K3.1 Pro 得到的回复,它在 9 分 41 秒和 19,493 个推理 token 后成功识别出 Breakout 游戏。

那 Qwen 3.8 27B 表现如何呢?这仍然是我最喜欢在笔记本电脑上运行的模型——只有 17GB(我使用的是这个版本),不知为何它感觉与 2025 年领先的专有模型非常接近。

我启动了 LM Studio,确保 Qwen 3.8 27B 已加载并启用了长上下文窗口(默认的 8192 上下文窗口会报错),安装了 llm-lmstudio 插件并运行了以下命令:

code
LMSTUDIO_TIMEOUT=900 \
  llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
  -m lmstudio/qwen/qwen3.8-27b

(我需要通过环境变量将超时时间延长,详见此 issue。)

经过 46 分 12 秒和 43,506 个推理 token 后,我笔记本上的 Qwen 返回了如下回复(这里是完整的推理过程):

游戏:一个简化的 Pac-Man 风格网格世界:智能体在一个 8x8 的迷宫中移动,迷宫中央和角落有墙块,有移动物体/幽灵和奖励目标/豆子。描述:智能体在一个固定的 8x8 迷宫板上导航,使用当前智能体/移动物体/前一帧的提示来穿越走廊,收集奖励目标单元格并避免移动物体或危险。置信度:72%

这非常令人印象深刻。我也在另外两个游戏中进行了测试。它在 1 小时 4 分 54 秒内识别出 Pong(推理过程):

Pong——具体来说是一个类似 Pong 的球拍/球游戏,智能体控制右侧的垂直球拍,必须上下移动以拦截或返回移动的球/奖励物体。描述:智能体垂直移动右侧球拍以击中或接住在 8×8 场地内移动的球状奖励目标,左侧的移动物体/对手和墙壁边界定义了游戏;成功拦截/返回/得分会获得奖励,而错过或未能击中球则会被惩罚。置信度:75%

并在 52 分 25 秒内识别出 Breakout(推理过程):

游戏:Breakout 或类似 Arkanoid 的球拍/球/砖块游戏。描述:智能体是底部行的球拍,左右移动以保持球在场内;球在上部网格中移动,顶部行的砖块/奖励目标被击中时会给予奖励,而错过球或击中底部墙壁会结束回合或给予惩罚。置信度:88%

Qwen 未能识别出 Freeway 提示,这并不让我意外,因为这款游戏相比其他三款更冷门。以下是该测试的记录——Qwen 认为这是“一个简化的 Pac-Man 风格网格游戏:智能体四方向移动”。

推理轨迹虽然有趣,但几乎难以理解。以下是一个示例:

那么关于agent的channel0呢?我们在行8列7/8附近以及可能底部附近看到一些较大的channel0数值。让我们列出channel0的较大值:第436行输入435(行8列7 ch0)-2.107,1.169,0.513...;第441行输入440(行8列8 ch0)-0.376,0.010,1.564,3.855...;第445行输入444(行8列8 ch4)0.142,0.491...;第382行?输入381 ch0?等等,第382行输入381:381//5=76(行7列6),ch1?381%5=1?76 * 5=380,ch1。所以不是。channel0较大的值可能只在行8列7/8处。还有顶部行?第44行输入43 ch3,第49行ch3。channel0较大的值可能不多。agent的位置可能在右下角附近?如果agent通常在右下角?

尽管如此,我认为一个经验丰富的技术人员,只要配备纸笔并付出足够努力,应该也能理解这些内容。

这是一篇精彩的论文,但围绕它的部分广泛评论在我看来并不合理。我还没有准备好宣布源代码时代已经结束,我们的未来将涉及难以理解的机器以难以理解的方式自行修改模型权重。

发布于2026年11月3日 下午4:29 · 关注我:

Mastodon

,

Bluesky

Twitter

或

订阅我的电子报

更近的文章

  • 美国人口普查局与“超级智能” - 2026年11月2日
  • 振动游戏开发的十月转折点 - 2026年10月28日
  • 战斗无人机 - 一款基于音频的多人联机振动编码RTS - 2026年10月20日
  • 你好Python 3.15,再见3.10,现在我可以使用3.11 - 2026年10月12日

#primary

这是我的笔记本电脑上运行的Qwen 3.8 27B,也能解释模型权重,由Simon Willison于2026年11月3日发布。

machine-learning

70

ai

2,308

generative-ai

2,048

local-llms

166

llms

2,013

qwen

64

paper-review

20

上一篇:美国人口普查局与“超级智能”

月度简报

每月赞助10美元,即可获得本月最重要的LLM进展精选电子邮件摘要。

支付我以减少推送!

赞助并订阅

#secondary

#wrapper

  • 披露信息
  • 附录
  • ©
  • 2002
  • 2003
  • 2004
  • 2005
  • 2006
  • 2007
  • 2008
  • 2009
  • 2010
  • 2011
  • 2012
  • 2013
  • 2014
  • 2015
  • 2016
  • 2017
  • 2018
  • 2019
  • 2020
  • 2021
  • 2022
  • 2023
  • 2024
  • 2025
  • 2026