近期,编码代理(Coding Agents)正打破硬件开发的门槛,让软件工程师得以涉足底层领域。本文记录了作者利用“氛围编码”(Vibe Coding)模式,在FPGA上部署AI模型的完整实验。在庞大的Token预算和明确的问题指引下,编码代理展现了惊人的工程能力。

起初,作者对FPGA的认知仅停留在“可重编程芯片”层面,深知其涉及繁琐的C++和Verilog编写及波形验证。出于对“FPGA能否高效运行AI推理”的好奇,作者选择在AWS F2实例上启动实验,目标是让DeepGrove的三元权重架构在内存受限环境下实现实用级速度。

自动研究循环:从6到213 tokens/s

实验核心是一个运行数天的云代理循环。作者仅需定期引导,代理便自主完成了模型移植与优化。最终,系统在保持位精确(bit-exact)的前提下,将推理速度从基线的6.43 tokens/s提升至213.13 tokens/s,增幅达33倍。整个过程生成了约300万行代码,解析了3000万行输出文件,消耗了价值1万美元的Claude和OpenAI Token。

值得注意的是,大部分代码为作者十年未写的C++及从未接触过的Verilog。提示词并不复杂,多为鼓励性话语或简单的方向指引,如“追求2倍速度”或“考虑投机性解码”。Astra和Opus等模型均表现出足够的能力,可互换使用。

人类指导的价值:流程优于细节

实验中,作者曾向DeepGrove创始人寻求建议,并获得一份详细的技术提示词,涵盖矩阵乘法引擎、内存管理、注意力机制等底层优化策略。然而,代理的回顾显示,大多数具体设计思路(如权重流式传输、并行路由)在收到提示前已纳入计划。

真正产生即时影响的是流程建议:“避免耗时数小时的仿真”。据此,代理放弃了长周期仿真,转向“C测试+综合+逻辑深度检查”的快速迭代循环。虽然这可能遗漏了一些仅在RTL仿真中显现的问题,但显著加快了硬件结果的获取速度。结论表明,人类在定义迭代流程和正确性标准上仍具价值,而代理擅长执行具体的探索与管理。

优化路径:复合式微改进

性能提升并非源于单一突破,而是一系列约1.5倍的复合改进:

  • 主机开销优化:命令开销从10ms降至0.9ms。
  • 突发注意力:批量读取KV缓存,速度提升至14.02 tokens/s。
  • 并行路由器与新流水线:引入并行MoE路由器及全新调度器,解决硬件挂起问题,速度跃升至49.21 tokens/s。
  • 投机解码与头阴影:通过精确投机解码和早期未命中捕获,速度进一步推高至94.44 tokens/s。
  • 内存与权重优化:增加内存端口、无损权重打包及重新投机策略,最终达到213.13 tokens/s。

性能对比与上下文扩展

在AWS f2.6xlarge实例上,最终镜像以每小时1.98美元的成本,实现了213.13 tokens/s的速度,且在8-chat × 3-turn基准测试中保持24/24的精确轮次匹配。相比之下,同价位的m8a.8xlarge CPU实例速度为129.5 tokens/s,FPGA方案快了1.65倍。即便对比社区CUDA端口(非位精确),FPGA在精度保证下仍具竞争力。

在上下文扩展测试中,r9镜像在生成8,176个token的全过程中,短上下文(16-64 tokens)速度达233 tokens/s,长上下文(6-8k tokens)稳定在76 tokens/s,整体运行时间约77.8秒,展现了良好的可扩展性。

结语

尽管该实验并非生产级推荐方案,但其“正常工作”的事实令人震惊。编码代理极大地拓展了工程团队的能力边界,使得跨领域的复杂硬件优化成为可能。只要能将模型指向正确方向,科学发现、新产品乃至初创公司的构建方式都将迎来新的机遇。