• 投稿

FPGA 2026 | 150美元FPGA跑300亿参数大模型!Hummingbird+把LLM搬上边缘设备

1.1万
6
2026-03-31 08:38:57
241
76
630
153
150美元的入门级FPGA,部署300亿参数MoE大模型,解码18 tok/s——首个可产品化的FPGA边缘LLM方案。 📌 核心贡献 🔧 定制PCB平台:XCZU2CG/3EG + 24GB DDR4,量产BOM仅$150 ⚡ GEMV引擎:140个DSP实现272 GOPs@532MHz,计算密度达前代4倍 🧮 标量引擎:仅7个DSP覆盖softmax/RMSNorm/SiLU等全部非线性运算 📊 部署Qwen3-30B-A3B:解码18 tok/s,预填充50 tok/s,能效比Jetson的1.7倍 ⏱️ 时间轴 00:00 开场:150美元能做什么? 00:40 问题:边缘LLM部署的不可能四角 01:25 破局:MoE模型为什么适合FPGA 02:30 平台设计:定制PCB与成本分析 03:40 核心优化:Token Processor架构 04:20 GEMV引擎:极致压榨DSP资源 06:10 标量引擎:资源共享与FP16乘法器优化 07:10 实验结果:性能与成本对比 08:40 总结与FPGA设计启示 🔗 相关链接 论文:https://dl.acm.org/doi/10.1145/3748173.3779189 作者:Jindong Li 等(中科院自动化所) 会议:ACM/SIGDA FPGA 2026 #Hummingbird+ #FPGA2026 #LLM加速 #边缘AI #MoE #FPGA加速器 #Qwen3 #硬件加速
复旦微在读博士生,业务咨询q:736340716
客服
顶部
赛事库 课堂 2021拜年纪