文章

GPT-6 Astra改Qwen权重、数学得分翻六倍:研究为何引发争议?

一项让 AI 直接修改另一个模型权重的研究,正在同时收获惊叹和质疑。11 月 2 日,MIT CSAIL 的四位研究者发布权重空间编程研究博客;次日,中文科技媒体报道了“数学成绩翻六倍”,开发者社区却开始追问:这些实验到底用了哪些工具?

先说核查后的结论:GPT-6 Astra 确实在作者实验中修好了一个小模型的严重问题,但它没有凭空让所有 Qwen 变聪明,也没有修改自己的“大脑”。这项工作的价值,需要从具体的故障和实验条件里找。

六倍成绩,首先是一场“停止兜圈子”的修复

被修改的是 Qwen3.5-0.8B,约八亿参数的小模型。这里的“权重”,可以理解为神经网络内部大量决定信息如何流动的数字;通常要通过训练来调整,这次则由 Astra 分析问题后提出修改。

问题出在思考模式:模型会反复生成相近内容,迟迟不给答案。Qwen 官方模型卡本来就提醒过,这个版本更容易进入推理循环。因此,分数低不全是“不会解题”,还包括会想却交不出卷。

Astra 最终删除了部分前馈网络权重中与循环相关的方向。作者报告,在相同采样设置下,MATH-500 得分从 7.9% 升至 48.1%,约为原来的 6.1 倍,增加的是 40.2 个百分点。它改动约 0.016% 的权重;这不是模型体积减少了同样比例,更不是把参数扩大六倍。

如果用一个经过说明的比喻:学生已有部分解题知识,却总在草稿纸上重复同一步,修复让他更常写出最终答案。这个比喻解释的是故障,不意味着模型真的像人一样理解数学。

看原始数字与用 Python 做实验,是两种条件

争议主要来自把不同规模的实验装进同一个“读写权重”标题。小网络实验中,Astra 可以只看浮点数和输入通道说明,判断它玩的是哪种游戏;这与处理完整语言模型的条件不同。

小游戏网络第一层权重热图,展示玩家、移动物体和障碍等输入通道的空间分布

图:Sean Goedecke 在评论文章中绘制的权重分析图,核查于 2026 年 11 月 4 日。亮度表示第一层权重的范数;这是小游戏网络,不是 Qwen 数学实验,也不是 Transformer 注意力图。

图中,打砖块的玩家通道集中在底部一横排。已知输入布局后,这类线索能帮助判断网络用途。图能解释为什么实验有趣,也提醒我们:它并不是把毫无上下文的一串数字交给模型,就读懂任意复杂系统。

到了 Qwen 实验,研究者提供了持续运行的 Python 环境、带答案的练习题,以及最多 50 批前向运行预算。所谓“前向运行”,就是让模型处理输入、观察输出或内部状态;一批可以包含多道题,不是总共只试了 50 道。

实验八的原始说明还列出:50 批这一组实际执行了 80 次 Python 代码。研究禁止梯度下降和优化器训练,允许诊断、修改与验证。所以“没有梯度训练”成立,“没有计算、没有数据反馈”不成立。测试基准没有提供给 Astra,也应与它能看到的训练集练习题分开。

预算大小还明显影响结果。10 批和 25 批时,MATH-500 只分别达到 12.3% 和 14.1%,50 批才出现更大提升。这更像一段反复排查问题的过程。日志记载,50 批那组从开始到结束经过约 20.3 小时,其中包含约 4.7 小时服务不可达的等待,不能把它当成纯计算耗时。

改动小也不等于成本已经小到可以忽略。诊断时要运行练习题、比较模型表现,修改后还要检查是否损害其他任务。最终留下的补丁只占很小比例,并不能反推出探索补丁的总费用。

质疑没有抹掉成果,成果也没有消除边界

11 月 3 日,spaCy 作者 Matthew Honnibal 的批评文章逐项对比了工具权限。他认为,小网络直接读数字与用 Python 修理语言模型容易被读者理解成同一种方法;同时也承认,让 AI 完成研究者会做的分析工作具有价值。他的质疑针对呈现方式和能力解释,并没有证明实验分数是假的。

Simon Willison 随后做了自己的小网络识别实验。他在笔记本上运行 Qwen3.8 27B,识别出了打砖块、乒乓和吃豆人对应的网络,却在 Freeway 上失败。这个结果补充了“读取简单网络”的证据,没有复现 Qwen 数学成绩提升;两件事不能互相替代。

原研究也给了一个不那么吸睛的对照:换成较少陷入循环的 Gemma 3 270M,类似编辑没有带来稳定的数学提升。也就是说,拆掉一道障碍,可以释放已有能力;没有那种能力时,改几个数字未必能补出来。

对普通 AI 用户,这不意味着今天的 ChatGPT 或千问聊天入口自动获得了新版本。对使用开放权重的开发者,更有价值的问题是:自己的任务失败,来自推理能力不足,还是某个可定位的行为故障?前者与后者需要不同的处理办法。

作者已经公开实验日志仓库,但标准化基准和更多独立复现仍值得继续看。本站没有运行这些模型,文中的成绩属于研究者报告,不能当作本站实测或通用选型排名。

近期从AI 挑战指数时间假设到这次权重编辑,都在考验同一件事:把演示中的成功准确地翻译成现实中的意义。真正值得关注的是可定位、可检查的模型修复,而不是一句“AI 已经能无限自我升级”。

中文传播背景可参阅量子位 11 月 3 日报道;不同意见和复现范围以上述原文、模型卡与日志为准。

评论

搜索文章

正在加载搜索…