大语言模型（LLM）的每一次飞跃，本质上都源于训练目标的变更：从预测下一个词赋予知识，到后训练使其成为助手，再到强化学习赋予推理能力，最终通过工具调用转化为智能体。表象之下，驱动进化的真正引擎是旨在教授正确目标的数据。
若剥离社交媒体上的噪音，LLM的发展脉络清晰可见：每一步都在保留既有能力的基础上，叠加新的训练理念。这一视角不仅解释了技术演进路径，也指明了未来方向。
第一幕：预测下一个标记（2018-2020年）
GPT-1（2018年）：验证可行性。 拥有1.17亿参数的GPT-1仅针对“预测下一个标记”这一任务进行训练。通过在约7000本书籍上的学习，它自主掌握了语法、事实和含义。在小型标注数据集微调后，其在12个基准测试中的9个上击败了专用模型，证明了下个词预测是学习语言的有效途径。
GPT-2（2019年）：规模效应显现。 参数规模增至15亿，训练数据达40GB网络文本。无需微调，GPT-2便展现出总结、翻译和回答问题的零样本（Zero-shot）能力，暗示了规模解锁新能力的潜力。
GPT-3（2020年）：告别微调。 1750亿参数的GPT-3能够通过提示词中的少量示例学习任务，无需更新权重。缩放定律表明，更大的模型能以可预测的方式持续改进，使用语言模型不再依赖标注数据集，只需优质的提示词。
局限性：懂文本不懂意图
下一个词预测教会模型文本“看起来像什么”，而非“应该如何回应”。预训练模型存在明显缺陷：倾向于续写而非直接回答；缺乏安全边界，可能输出危险内容；镜像互联网数据，包含捏造事实和有毒文本。能力虽强，但缺乏指向性。
第二幕：成为得力助手（2022年）
解决方案是引入后训练（Post-training）阶段。OpenAI的InstructGPT采用三步策略：人类编写优质示例供模型模仿；人类对模型回答排名以训练奖励模型；利用基于人类反馈的强化学习（RLHF）优化模型。
效果显著：评分员更青睐13亿参数的InstructGPT，而非1750亿参数的GPT-3。2022年11月，基于此配方的ChatGPT发布，它能直接回答问题并拒绝有害请求，两个月内用户数估测达1亿。此后，重大进步主要发生在预训练之后。
第三幕：先思考后回答（2021-2025年）
数学与代码率先突破。 2021至2024年间，各大实验室在数学和代码领域投入重金。由于这两个领域的答案可自动验证（匹配或不匹配、通过或失败），为强化学习提供了廉价可靠的奖励信号，无需人类评分。这种方法被称为“带可验证奖励的强化学习（RLVR）”，由AI2团队于2024年提出。
推理模型涌现。 OpenAI于2024年9月推出o1，通过大规模强化学习生成长链思维过程：尝试、纠错、回溯。响应分为隐藏的冗长推理草稿和可见的整洁答案。这开辟了新的扩展方式：在推理时而非仅在训练时投入更多计算资源。2025年1月，DeepSeek-R1证明，纯强化学习配合简单规则检查奖励足以涌现长期推理能力。
第四幕：采取行动直到任务完成（2023-2026年）
推理模型局限于文本空间，无法查阅资料或运行代码。下一步是将推理移至行动空间：思考、行动（搜索、读取、运行）、观察、重复，直至任务完成。
这一构想始于ReAct（2022年），函数调用（2023年）使其实用化，模型上下文协议（2024年末）提供了标准化工具接入方式。到2025年，OpenAI o3和Anthropic Claude 4等模型已能在隐藏推理中调用工具。
智能体迅速接管多个领域：
- 搜索（2024年底-2025年初）： Google推出Gemini Deep Research，OpenAI和Perplexity跟进。智能体执行数十次搜索，几分钟内返回带引用的报告。
- 编程（2025年）： Claude Code、OpenAI Codex及Cursor智能体模式能够阅读代码库、编辑多文件、运行测试并自我修复。
- 通用应用（2025-2026年）： 优秀的编程智能体演变为通用智能体。OpenAI于2025年推出ChatGPT智能体；Anthropic于2026年1月推出Claude Cowork，处理文件整理、表格构建和报告起草等任务。
交付物从“答案”转变为“完成的工作”。
现状与成因
进展并未停滞。斯坦福大学2026年AI指数报告显示，Terminal-Bench上的智能体成功率从2025年的20%跃升至2026年的77.3%。METR估计，自2023年以来，智能体能完成的任务长度每四个月翻倍，最强模型能以50%的可靠性完成需人类专家数小时的任务。
八年巨变源于三大要素：
- 足够大的模型容量： 残差连接、归一化层等技术确保信息在网络中流畅流动，使千亿参数模型成为可能。
- 教授技能的数据： 模型学习数据中存在的模式，进步实质上是构建新类型任务数据集的进步。
- 正确的目标（即数据）： 目标决定模型学习什么。无论是监督微调中的书面解决方案，还是强化学习中的评分细则，本质上都是编码了正确目标的人工数据。
如今的所有智能体，核心仍是下一个词预测器，没有任何技术被丢弃，只是层层叠加。
未来展望
既然数据和目标是引擎，下一步便是增加新类型的任务数据集。模型的泛化能力使得在新任务习得的技能能迁移至相关领域，提升整体水平。
挑战依然存在：智能体需在长任务中将成功率从演示级的50%提升至同事级的95%；写作和战略等模糊领域需要更完善的评分细则；此外，具备记忆和工作学习能力的模型将是下一个飞跃点。
2018年，GPT-1需为每个新任务微调；八年后，基于相同核心理念的模型已能交付完整工作。下一章将由更好的目标而非更大的模型决定：我们如何奖励智能体，以及如何检查工作成果。