依赖第三方云端大模型不仅面临高昂且波动的运营成本,更存在服务中断、数据隐私泄露及定制化受限等风险。事实上,并非所有任务都需要前沿级别的智能,许多常规工作负载完全可以在设备端高效处理。随着模型参数效率的提升,行业正加速向高性能、注重隐私的自托管模型转型。 在此背景下,Tether AI Research 正式推出 BotPsy。这是一款拥有 0.8B 参数的轻量级模型,基于 Qwen3.5-0.8B 构建,专为函数调用和智能体工作流设计,适合端侧部署。BotPsy 定位为“个人助理”,能够利用工具执行网络搜索、旅行规划、金融分析、设备控制、文档处理及通讯管理等任务。尽管参数量较小,BotPsy 在其尺寸范围内实现了最先进的(SOTA)工具使用和智能体性能,在保持用户数据私密性的同时,提供了卓越的指令遵循可靠性和效率。 ### 基准测试:小参数超越大模型 - **性能翻倍:** 相比基座模型 Qwen3.5-0.8B-Think,BotPsy 在关键基准测试中的智能体能力大致提升了一倍:BFCL v4 从 23.4 升至 44.0,ACEBench 从 30.1 升至 58.7,τ-bench 从 23.2 升至 51.5。 - **同类最佳:** 在 BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus 六项工具使用和智能体基准测试中,BotPsy 均优于参数量 ≤1.2B 的领先模型(包括 Qwen3.5-0.8B-Think、LFM2.5-1.2B-Think 和 MiniCPM5-1B-Think)。 - **越级挑战:** BotPsy 在六项基准中的五项取得了最高分,击败了参数量为其 2.5 倍的 Qwen3.5-2B-Think。例如在 BFCL v4(44.0 vs 37.7)、ACEBench(58.7 vs 55.4)和 ToolSandbox(64.6 vs 41.2)上优势明显。仅在 Claw-Eval 上略逊于 Qwen3.5-2B-Think(46.5 vs 48.9)。 ### 核心能力:可靠、精准且高效 - **多轮交互更可靠:** 在需要维持长对话和严格策略的 τ²-bench 电信领域测试中,BotPsy 得分 82.5,高于 Qwen3.5-2B-Think 的 69.3。在 BFCL v4 多轮任务中,其得分从基座的 7.5 飙升至 46.1,几乎是 Qwen3.5-2B-Think(23.8)的两倍。 - **精准的工具调用判断:** BotPsy 深知何时“不行动”。在 BFCL v4 幻觉测试中,其在无合适工具时拒绝调用的得分高达 86.1,位居所有测试模型之首。在 ACEBench 处理不完整或错误请求的场景中,得分也从基座的 13.7 显著提升至 51.3。 - **指令遵循与知识保留:** 专精工具使用的同时,BotPsy 并未牺牲通用能力。IFEval 从 59.7 升至 90.8,IFBench 从 22.0 升至 55.9(所有测试模型中最高)。通用知识方面,GPQA Diamond 和 MMLU-Pro 分数亦有提升,且均优于其他 1.2B 及以下参数模型。 ### 安全性与部署效率 - **更安全:** 自动化红队测试显示,BotPsy 产生不安全响应的比例仅为 21%,远低于基座模型的 36% 及其他同类模型(如 MiniCPM5-1B-Think 为 47%)。面对提示注入攻击时,不安全率也从 46% 降至 31%。 - **更高效:** BotPsy 推理所需的 token 数显著减少。在 GPQA Diamond 上,其达到正确答案所需的推理 token 数约为基座模型的 1/3(3,690 vs 11,563);在 IFBench 中,陷入重复推理循环的比例从 22.9% 降至 1.4%。更短的推理路径意味着更低的端侧延迟。 - **开源即用:** BotPsy 以 Apache 2.0 许可证开放权重,提供 bf16、Q8、Q4 三种精度,支持 Hugging Face safetensors 及 llama.cpp GGUF格式,便于研究和教育用途。 ### 技术方法论 BotPsy 的训练分为四个阶段,融合了演示、专家教师和可验证奖励三种信号: 1. **监督微调(SFT):** 使用模拟环境中的多轮智能体轨迹进行全参数微调,奠定工具使用基础。 2. **多教师在线策略蒸馏(MOPD):** 通过三个经过强化学习的 Qwen3.5-4B 专家模型(分别专精工具使用、通用推理和指令遵循)提供每 token 反馈,恢复 SFT 阶段可能退化的通用知识。 3. **强化学习(RL)两轮迭代:** 第一轮专注工具调用格式和正确性,提供细粒度部分信用奖励;第二轮扩展至数学、代码、知识问答及结构化输出等通用可验证任务,进一步提升多轮函数调用能力。 ### 局限性与未来愿景 尽管表现优异,BotPsy 仍存在局限。其在开放式搜索、低资源语言(如印地语、俄语)以及极复杂的多步信息检索任务上表现较弱。由于参数量限制,它最适合低至中等难度的任务,不建议用于高风险或安全关键场景。 展望未来,Tether AI Research 计划基于 BotPsy 扩展端侧智能体能力,将其无缝集成到更广泛的硬件和本地服务中。其 Hypersearch 产品将演变为支持去中心化点对点(P2P)查询的私有加密网络搜索,QVAC Fabric 本地微调机制也将进一步优化以适应个人偏好。最终目标是构建一个完全自主、高度可控的个人 AI 生态系统,让用户真正掌控其数字生活。