Google 已正式将其跨平台 GPU 推理引擎 ML Drift 以 Apache 2.0 许可证开源。该引擎此前已在 YouTube Shorts、Google Photos、Chrome 和 Meet 等产品中默默运行。此举旨在为开发者提供统一的跨平台 GPU 计算层，同时标志着旧时代的终结：Google 此前的端侧 GPU 加速层 TensorFlow Lite GPU Delegate 将不再接收新功能更新。

解决端侧硬件碎片化难题

与云端推理不同，端侧 GPU 推理面临严重的硬件碎片化问题。移动设备 GPU 架构、驱动程序版本及底层 API 各异，且应用无法预知运行环境。原有的 TFLite GPU Delegate 需分别为 OpenGL、OpenCL 和 Metal 实现着色器，维护成本高昂。更严峻的是，Delegate 硬编码仅支持四维张量，难以适配需要五维表示的时空模型（如 YOLO 11n、MobileViT v2 等），开发者此前只能通过增加工程开销的变通方案绕过限制。

ML Drift 从架构层面原生支持五维张量，彻底解决了这一结构性约束。

生产环境验证：显著降低延迟

ML Drift 的性能优势已在大规模生产部署中得到验证，而非仅停留在实验室基准测试中：

  • YouTube Shorts：在 Android 和 iOS 上迁移至 ML Drift 后，基于分割的视觉效果（如实时背景更换、AR 叠加）平均帧延迟降低高达 40%，显著提升了实时相机应用的流畅度。
  • Google Photos：在计算摄影管线（包括 Unblur 去模糊功能）中集成 ML Drift 后，处理速度比旧版 GPU Delegate 快多达 2 秒，实现了从“可感知等待”到“即时响应”的体验跃升。
  • Google Chrome：作为 Gemini Nano 端侧推理的加速层，ML Drift 已成为依赖 Chrome AI API（Prompt、Summarize、Writer）的 Web 应用的标准 GPU 执行路径。
  • 合作伙伴案例：Adobe Lightroom 和 Photoshop 移动端专业编辑工作负载性能提升多达 30%；Snapchat 通过 LiteRT 集成 ML Drift，模型延迟降低 30%，并成功启用了此前因速度限制无法使用的更大扩散模型。

核心技术：张量虚拟化与 LLM 优化

ML Drift 的核心创新在于“张量虚拟化”，即将张量的逻辑表示与 GPU 物理分配解耦。通过引入统一计算语言（UCL）和着色器模板，开发者只需编写一次着色器，引擎即可在运行时根据设备特定硬件生成优化代码。这不仅消除了针对各后端单独维护代码库的需求，且坐标转换仅在编译时计算一次，运行时开销极小。

针对移动端大语言模型（LLM）推理，ML Drift 区分了“预填充”（计算绑定）和“解码”（内存带宽绑定两个阶段。在解码阶段，它采用定制的卷积对齐 KV 缓存布局及内核内激活量化，以减少内存往返。其基于大小的贪婪缓冲区重用算法，在 Stable Diffusion 1.4 测试中将峰值 GPU 内存占用从 4.31 GB 降至 387 MB，降幅达 93%。

硬件协同与跨平台扩展

Google 与 Arm、Intel 和 Qualcomm 进行了深度协同优化：

  • Arm：针对 Mali 和 Immortalis GPU 架构优化内核，兼顾吞吐量与能效。
  • Intel：通过 WebGPU 和 Xe Matrix Extensions (XMX) 访问原生硬件矩阵乘法，赋能 AI PC 部署。
  • Qualcomm：针对 Adreno GPU 优化 OpenCL 内核，提升 ALU 利用率和内存带宽效率。

在桌面端，ML Drift 利用 Chromium 的 Dawn 项目作为桥梁，将 WebGPU 着色器编译为 Windows (DirectX 12) 和 Linux (Vulkan) 的原生二进制文件。macOS 则保留原生 Metal 后端以降低 API 开销。目前 Windows 和 Linux 支持处于“桌面预览”阶段。

竞争格局与迁移建议

在与 llama.cpp 和 MLX LM 的对比中，Google 声称 ML Drift 在 Gemma 模型测试中内存开销低多达 12%。尽管缺乏与 Apple Core ML 的直接延迟对比数据，但 ML Drift 凭借统一的 GPU 计算层和广泛的硬件支持，填补了跨平台端侧推理的空白。

随着 TFLite GPU Delegate 停止新功能开发，Google 建议开发者规划迁移至 ML Drift 和 LiteRT。对于新开发的端侧 GPU 推理功能，ML Drift 已成为 Google 技术栈中的首选基础设施。Apache 2.0 许可证提供的明确专利授权，也为商业开发者提供了法律保护，这是 MIT 许可框架所不具备的优势。