麻省理工学院（MIT）计算机科学与人工智能实验室（CSAIL）研究人员证实，大型语言模型（LLM）能够直接读取、解释并修改神经网络权重，无需依赖梯度下降等传统训练方法。
这项名为“权重空间编程”（Weight-Space Programming）的技术，使通用大语言模型能够通过自然语言指令检查神经网络权重，识别行为缺陷并进行针对性修改。研究团队由Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab组成。
无需重训，性能大幅跃升
研究人员使用OpenAI的GPT-6 Astra进行了八项实验。在针对小型语言模型Qwen3.5-0.8B的关键测试中，Astra发现该模型权重存在导致推理步骤重复的问题。通过仅修改0.016%的权重，Qwen3.5-0.8B在MATH-500基准测试中的得分从7.9%飙升至48.1%，在GSM8K数学推理测试中从13.8%跃升至67.1%。此外，其指令遵循能力（IFEval）也从21%提升至62.3%。
研究指出：“前沿大语言模型在原生读写神经网络权重方面表现出色，远超人类或传统算法的预期。”
零样本构建与行为识别
在不运行网络的情况下，Astra仅通过检查权重文本输入，便准确识别出四个基于近端策略优化（PPO）训练的游戏网络（Breakout、Pong、Pac-Man和Freeway）所对应的游戏类型，以及三个扩散模型生成的几何形状。
在从零构建神经网络的实验中，研究人员向Astra提供MinAtar游戏（Breakout、Seaquest、Asterix）的规则和源代码，禁止其访问训练数据、损失函数或梯度。结果显示，Astra生成的网络在Breakout中得分为517.4，远超经过1亿步训练的PPO网络（15.8分）和5亿步训练的PPO网络（25.3分）。在Asterix和Seaquest中，其表现也具备竞争力。
在更复杂的围棋实验中，面对拥有近150万个权重的网络，Astra生成的模型在与较小PPO网络对战时胜率超过50%；若允许50次前向传播评估，其甚至击败了经过2000万局训练的同等规模PPO网络。
开启机械可解释性新篇章
研究人员认为，该技术标志着机械可解释性和神经网络优化领域的重大转变，并指出了递归自我改进的可能性——即大语言模型检查并修改自身或其他模型权重。目前，团队正在开发相关基准测试框架，实验日志及编辑后的Qwen3.5-0.8B模型已在GitHub和Hugging Face上开源。