尽管手机本地运行AI模型已有一段时间，但多数用户仍依赖云端工具，认为只有云端服务器能提供强大的移动体验。然而，要在移动端获得良好结果，无需超级强大的模型，一个具备联网搜索能力的模型足矣。
现有应用过于厚重，本地轻量方案更具优势
Perplexity等集成搜索引擎的应用，默认设置面向需要深度报告的用户，而非快速查询发布日期等简单需求。此外，笔者已订阅ChatGPT、Gemini和Claude，不愿再增加第四个订阅服务处理琐碎查询。尽管Perplexity提供免费计划，但出于隐私考量及其向广告和企业业务转型的趋势，将日常查询留在本地更具优势。
解决方案：支持“工具调用”的本地模型
实现这一目标需两个要素：一款真正具备网页搜索功能的本地LLM应用，以及一款擅长“工具调用”的模型。本地模型无法自主浏览网页，需由应用提供搜索工具，模型则需识别何时调用。极小模型在此方面表现较差：Qwen官方基准测试显示，Qwen 3.5 0.8B在Berkeley Function Calling Leaderboard得分仅25.3%，而Qwen 3.5 2B达43.6%。因此，2B参数量是此类应用的绝对底线。
在iOS端，首选Noema；Android端推荐Off Grid，其抓取Brave搜索结果前五项并检查模型工具调用支持情况。LLM Hub覆盖双平台，内置搜索功能，适合iPhone用户。Android上的Local LLM应用允许Gemma 4模型在确认后搜索网页。Gemma 4是目前除Qwen外的最佳替代方案，提供适用于6GB和8GB内存手机的E2B和E4B变体。
笔者目前在基础款iPhone 16上使用Noema运行Qwen 3.5 2B（Q4_K_M量化版本）。通过Noema Search（基于SearXNG的实例，无需账户）开启网页搜索。该设置运行流畅，因为Noema仅提取与问题最相关的段落，跳过JavaScript和图片扫描，使模型仅阅读短文本块。
回复附带可展开的“证据”面板，点击来源可在浏览器中验证信息。Noema提供多种可按会话切换的工具，笔者通常开启“当前日期”，以便训练数据截止较早的模型理解最新事件。对于2B参数的Qwen模型，关闭推理/思维链功能可避免啰嗦并节省令牌，这与云端大模型的常规建议不同。该配置回答速度快，占用约1.28GB空间，为手机剩余8GB内存留出充足余地。
小模型+搜索：从“记忆”转向“读取”
模型大小决定记忆容量。研究表明，即使压缩至8-bit，每参数仅保留约2比特知识。2B模型无法记忆大量世界知识，且受限于训练截止日期。但“阅读”是不同任务：研究显示，小模型的推理能力更多取决于训练方式和数据质量。开启搜索后，模型只需阅读几个段落并汇报，几乎无需自身记忆。
这也是笔者坚持使用4-bit量化的原因。研究指出，量化保留了推理能力，且在事实回忆方面，4-bit模型仍能保持较低置信度的知识信号，直到2-bit才会崩溃。搜索填补了低量化可能丢失的事实，因此即便在桌面端，笔者也坚持使用Q4量化。
云端AI负责复杂任务，本地模型胜任简单查询
对于需多步骤处理的复杂任务，云端LLM仍有价值。随着苹果频繁发布新模型，基础款iPhone可能被视为过时，部分查询交给云端更为合理。但笔者推崇移动端本地LLM，特别是在离线状态或使用私人文档时。尝试将过大模型塞进手机后发现这并非必要——只要赋予模型联网能力，其知识储备将大幅提升。