本期视频实测使用单张2080Ti 22G魔改显卡 + 256G内存，在 Ubuntu 22.04 服务器上通过 FastLLM 混合推理框架运行 DeepSeek-V4-Flash-FP8-Q4 大模型的真实效果！
视频中详细展示：
✅ DeepSeek-V4-Flash-FP8-Q4 的本地部署思路
✅ FastLLM CPU + GPU + 内存混合推理原理
✅ 160G 超大模型为何能在消费级显卡上运行
✅ 实时 Tokens/s 推理速度测试
✅ CPU / 内存 / 显卡资源占用分析
✅ DDR4、DDR5、NUMA、内存带宽对推理速度的影响
✅ 二手低成本服务器是否值得部署大模型
本次测试环境：
Ubuntu 22.04
单张 RTX 2080Ti 22G 魔改显卡
256G DDR4 ECC 内存
FastLLM 推理框架
DeepSeek-V4-Flash-FP8-Q4 模型
实测推理速度稳定在 11+ ~ 12+ Tokens/s 左右，对于超大规模 MoE 模型来说，这样的低成本本地部署方案已经非常具有参考价值。
如果你也对：
DeepSeek 本地部署
FastLLM
Qwen
ComfyUI
AI Agent
OpenClaw
本地大模型
AI服务器搭建
感兴趣，欢迎订阅频道「玩科技的舒」！
草凡博客：caovan.com
