Tiny Corp正式推出tinybox Red Kimi工作站,售价高达3万美元。该设备旨在让开发者在桌面环境而非数据中心,运行月之暗面(Moonshot AI)旗下2.8万亿参数的Kimi K3模型。

四卡十六盘,GPU直连SSD突破存储瓶颈

Red Kimi的核心架构由四块AMD Radeon AI Pro R9700显卡(共计128 GB GDDR6显存)、十六块1 TB NVMe SSD以及AMD EPYC CPU组成。其独特卖点在于存储系统:16块硬盘组建的RAID阵列读取速率达238.4 GB/s。Tiny Corp表示,其tinygrad软件新增驱动程序,支持AMD GPU直接控制NVMe驱动器,无需经CPU中转每一次读取操作。

Kimi K3采用混合专家(MoE)架构,原生使用MXFP4权重,检查点大小约1.56 TB。由于四块GPU的显存仅能容纳约8%的数据,其余部分必须依赖存储。Tiny Corp选择比DRAM更便宜的闪存方案,试图以合理成本实现“家中可用速度”。

尽管英伟达与伊利诺伊大学此前曾展示过类似的GPU发起SSD访问技术,但Tiny Corp提供了基于AMD工作站显卡的可订购成品。根据配置代码,该机箱重约56磅,尺寸为12×19.25×18英寸。受限于散热,搭载R9700配置的风扇噪音低于60 dB,官方提示声音“可闻”。

性能方面,Kimi K3每次生成Token需激活1040亿活跃参数,在MXFP4精度下至少需读取55 GB权重数据。若完全依赖SSD,阵列每秒仅能处理约4个Token。要达到每秒40个Token的速度,需移动约2.2 TB/s的数据,这要求GPU显存缓存绝大部分常用权重。这一前提依赖于专家选择的可预测性、更低精度的量化或推测解码等技术组合。由于Tiny Corp未公开具体精度、上下文长度及批量大小等细节,上述性能应视为厂商宣称的最佳情况。

桌面端运行超大模型的“最廉价”方案

3万美元对于台式机而言不菲,但在本地运行2.8万亿参数模型的替代方案中,Red Kimi具备价格优势。配备M5 Ultra芯片和512 GB统一内存的Apple Mac Studio,若配齐16 TB SSD,售价约2.98万美元,虽拥有1.2 TB/s的高速内存带宽,但512 GB内存仍无法完整容纳Kimi K3的原生检查点。

Nvidia基于GB300的DGX Station售价近9.11万美元,配备748 GB内存,同样不足以加载模型。AMD Threadripper Halo Station虽可提供高达2.6 TB的合并内存,但预计2027年才上市,且整套系统估价约15万美元。

综上,Red Kimi是目前在单一桌面上保持Kimi K3原生精度的最廉价方式。其代价是让闪存承担部分内存职能,实际Token生成速度取决于该架构的效率。在第三方验证之前,“可用速度”仍属于承诺而非既定事实。