用四张RTX 3090加24核工作站,把2840亿参数的DeepSeek V4 Flash(0731正式版)完整跑在本地,不用API Key、没有云端账单和速率限制。视频里从llama.cpp编译、Unsloth量化版模型选择(UD-Q4_K_XL,约155GB)、显存与内存offload配置,一路演示到Open WebUI实机对话。实测生成速度约12 tokens/s,聊天体验够用,跑智能体编码还是偏慢——本地部署到底值不值,看完这期心里有数。
原视频:https://www.youtube.com/watch?v=TojlzUJ7GGc