
核心亮点:效率大幅提升,准确率几乎无损
BottleCap AI正式发布ThinkingCap系列第五款模型——基于Google Gemma-4-26B-A4B的优化版本。该模型在保持回答质量的前提下,显著降低了推理过程中的“思考”深度。
- 效率跃升:在12个基准测试中,思考令牌(thinking tokens)平均减少38.9%,最高降幅达69.1%。
- 精度稳定:准确率仅微跌0.15个百分点,波动幅度小于大多数基准测试的运行间差异,属于首款应用于Google模型且精度损失最小的ThinkingCap产品。
- 稳定性增强:循环输出率从原模型的3.6%大幅降至0.8%。
- 无缝替换:采用相同采样设置(温度1.0,top_p 0.95)及推理栈(vLLM),可直接替代原模型使用。
ThinkingCap PRO:针对更高效率需求,PRO版本可实现思考令牌最多减少87.6%(平均62%),进一步降低大规模推理成本。企业用户可联系 enterprise@bottlecapai.com。
技术背景与训练目标
Gemma-4-26B-A4B是Google推出的稀疏混合专家(MoE)模型,拥有260亿总参数,每令牌激活约40亿参数。这是BottleCap AI继Qwen和NVIDIA之后,第三次将该优化技术应用于主流模型系列。
训练核心目标是在不改变知识储备、推理能力、指令遵循及安全行为的前提下,最小化得出答案所需的令牌数量。结果显示,模型在压缩思考过程的同时,极好地保持了完整性。
详细评测结果
在12项基准测试的综合评估中,ThinkingCap模型展现出极高的性价比:
- 准确率变化:总体仅下降0.15个百分点。其中,指令遵循与智能体(Agentic)任务提升0.65个百分点,数学任务提升0.39个百分点;代码任务基本持平;知识与推理任务微降0.51个百分点,长上下文和多模态任务下降0.92个百分点。值得注意的是,AA-LCR是唯一出现实质性性能下降(-4.00pp)的任务,其余大部分差异均在噪声范围内,且有5项测试结果优于原模型。
- 思考长度压缩:所有任务家族的思考过程均显著缩短。长上下文和多模态任务降幅最大(54.4%),其次是知识与推理(44.4%)、数学(36.1%)和代码(27.6%);指令遵循与智能体任务因本身无需深度思考,降幅最小(17.2%)。
- 循环率改善:全局循环率从3.64%降至0.76%。在循环现象最严重的AIME 2026、HMMT Nov 25和HMMT Feb 26测试中,循环率分别从5.5%、8.6%和17.0%骤降至0.9%、1.2%和4.5%。
在不同思考令牌预算下的准确率对比中,ThinkingCap的性能曲线在中间区间全面优于原模型,意味着在更小的计算预算下即可达到同等准确率;当预算充足时,两者表现趋于收敛。
评估方法论
为确保数据公正,所有测试均在完全一致的环境中进行:
- 框架与环境:使用内部评估套件,基于vLLM运行两款模型。原模型数据由团队自行测量,而非引用公开文献。
- 采样设置:开启思考模式,温度1.0,top_p 0.95,top_k 64。直接继承Google推荐预设,排除解码策略干扰。
- 统计严谨性:准确率报告为多次随机种子运行的平均值及95%置信区间。针对不同基准测试,使用了从4到64个不等的种子数量,以消除单次运行的噪声。
- 评分标准:除LiveCodeBench(代码执行测试)、IFBench(程序验证器)及部分人工/系统评判任务外,其余均采用答案精确匹配。
模型获取与支持
该模型已在Hugging Face上线,并提供GGUF构建版本:
模型地址:bottlecapai/ThinkingCap-gemma-4-26B-A4B-it
如有测试需求或技术疑问,欢迎发送邮件至 hey@bottlecapai.com。