150美元的入门级FPGA,部署300亿参数MoE大模型,解码18 tok/s——首个可产品化的FPGA边缘LLM方案。
📌 核心贡献
🔧 定制PCB平台:XCZU2CG/3EG + 24GB DDR4,量产BOM仅$150
⚡ GEMV引擎:140个DSP实现272 GOPs@532MHz,计算密度达前代4倍
🧮 标量引擎:仅7个DSP覆盖softmax/RMSNorm/SiLU等全部非线性运算
📊 部署Qwen3-30B-A3B:解码18 tok/s,预填充50 tok/s,能效比Jetson的1.7倍
⏱️ 时间轴
00:00 开场:150美元能做什么?
00:40 问题:边缘LLM部署的不可能四角
01:25 破局:MoE模型为什么适合FPGA
02:30 平台设计:定制PCB与成本分析
03:40 核心优化:Token Processor架构
04:20 GEMV引擎:极致压榨DSP资源
06:10 标量引擎:资源共享与FP16乘法器优化
07:10 实验结果:性能与成本对比
08:40 总结与FPGA设计启示
🔗 相关链接
论文:https://dl.acm.org/doi/10.1145/3748173.3779189
作者:Jindong Li 等(中科院自动化所)
会议:ACM/SIGDA FPGA 2026
#Hummingbird+ #FPGA2026 #LLM加速 #边缘AI #MoE #FPGA加速器 #Qwen3 #硬件加速