
多数AI订阅服务热衷于营销最新功能,但对普通用户而言,日常高频场景本质仍是简单的资料检索。这正是笔者订阅Google AI Plus的核心用途。尽管该订阅包含Gemini和NotebookLM的额外额度及实验性应用权益,但回顾交互记录,绝大多数查询仍集中在几类重复的信息检索上。
本地部署的小型模型在此类场景中往往表现欠佳。运行在自有硬件上的模型仅具备训练期内的知识,面对近期事件易产生幻觉或编造事实。相比之下,具备网络访问能力的模型则截然不同。笔者在40亿参数规模的模型上验证了这一方案的有效性。
Gemma 4 E4B:端侧部署实战
Gemma 4 E4B是Google DeepMind推出的两款边缘模型中较大的一款,专为手机和笔记本设计。其中的“E”代表有效参数(effective parameters):尽管总参数量约80亿,但其仅激活约45亿个参数,从而适配移动端设备。
在PC端,笔者通过LM Studio以Q4_K_M量化格式运行该模型,RTX 3070显卡(8GB显存)可实现零延迟流畅处理;在iPhone 16上,则通过免费的iOS应用Noema运行。Gemma 4基于与Gemini 3相同的研究构建,Google正将其E2B和E4B版本作为Android端Gemini Nano 4的基础。此外,其最大上下文长度达128K令牌,与AI Plus计划中的Gemini持平。
Gemma 4的核心优势在于原生工具调用能力。它擅长判断何时调用外部工具(如网页或文件系统),并有效处理返回结果。Google基准测试显示,在多步骤任务工具使用测试(Tau2)中,E4B得分42.2%,远超上代Gemma 3 27B的16.2%。
网页搜索弥补知识时效短板
Google列出的Gemma 4知识截止日期为2025年1月。该模型于2026年4月发布,这意味着对于模型而言,2025年初之后的信息几乎空白。值得肯定的是,当关闭网页功能询问当前信息时,模型通常会诚实告知不知情,而非胡编乱造。
为解决时效性问题,Google通过搜索功能赋能Gemini。Deep Research可浏览数百个网站整合报告,但这属于大规模云端调用。在本地环境中,笔者通过MCP(Model Context Protocol)实现网页搜索:Brave Search MCP负责查找页面并返回摘要,另一独立工具则用于获取完整页面内容。后者至关重要,因为仅凭简短摘要极易导致事实归因错误。相比之下,Noema应用集成了基于SearXNG的私有无日志中继搜索,无需配置API密钥,且在回答末尾提供可点击的引用来源。
此外,赋予模型文件系统访问权限或支持文档上传,能显著提升基于研究的任务效率。LM Studio和Noema均支持文档上传,笔者还在LM Studio中配置了文件系统MCP以处理批量文件。
压力测试与局限性
即使启用网页功能,本地模型的可靠性仍受挑战。测试显示,约半数模型无法被信任去正确调用网页、获取或文件系统功能。针对4B模型无法凭记忆回答的问题,Gemma E4B在断网时会一致承认缺乏信息;一旦联网,则能每次返回正确信息。
然而,其多步推理能力仍有局限。在Berkeley Function Calling Leaderboard中,标准版E4B在“知道何时不调用工具”方面得分为84/100,但在需要多次搜索才能得出答案的网页类别中,得分仅为7。观察发现,该模型虽能在必要时触发搜索,但往往仅基于单次搜索结果作答,缺乏深入挖掘。因此,通过拆分清晰单一的问题,可获得更优答案。
综上,免费版的Gemini每月提供五次Deep Research报告,足以应对大规模分析需求。而对于其他日常任务,具备搜索能力且能充分阅读内容的4B本地模型,已能胜任大部分工作。