谷歌正式发布开源项目TorchTPU,这是其专为张量处理单元(TPU)打造的PyTorch版本。此举标志着谷歌加入亚马逊阵营,共同试图打破英伟达在AI基础设施领域的垄断地位。目前,绝大多数AI应用默认依赖英伟达GPU运行。

PyTorch是由Meta于2016年开发的开源工具包,广泛用于AI模型的构建、训练和部署。数据显示,高达85%的AI应用基于PyTorch开发。由于早期英伟达GPU已是行业标准,PyTorch底层功能深度适配英伟达硬件。2022年,Meta将该项目的管理权移交给Linux基金会。

无需重写代码,实现无缝迁移

TorchTPU允许开发者将现有的PyTorch应用轻松迁移至TPU及谷歌云平台。整个过程仅需简单的配置更改,无需重写应用程序代码。与此同时,亚马逊也发布了类似的TorchNeuron,支持AI应用无缝移植到其自研芯片Trainium及AWS平台。

为削弱英伟达在PyTorch生态中的绑定优势,亚马逊计划向PyTorch主项目提交代码,推动底层功能与特定硬件解耦,使其默认更开放地支持各类芯片。

谷歌的生态协同优势

在生态合作方面,谷歌宣称具备一定优势。其与Meta、Hugging Face、vLLM开发商Inferact及SGLang开发商RadixArk等直接合作,确保TorchTPU能与这些主流AI开发工具良好协同,保持与原版PyTorch一致的体验。

此外,谷歌还推出了“TPU代理套件”,辅助开发者迁移应用并修复潜在错误。同时,其面向移动端和嵌入式设备的LiteRT工具也进行了更新,以更好地支持PyTorch AI应用。

尽管迁移门槛降低,但开发者大规模放弃英伟达硬件仍需时日。不过,亚马逊与谷歌的这一系列动作,显然意在终结英伟达在AI算力市场的绝对优势。