项目地址github.com/a775828b-dot/xtier 部署的是官方完整版本的deepseek v4.1flash 1017 非量化版本
XTier 重大更新!32G显存+128G内存,也能跑 DeepSeek V4.1 Flash 1017!
这次加入冷专家池,把部分专家卸载到NVMe,让显存、内存与硬盘协同工作。本期演示可视化启动台、模型启动和实际运行,聊聊冷专家卸载、热专家配置,以及硬盘和内存带宽对速度的影响。
测试使用 RTX PRO 5000,限制32G显存和128G内存,模拟5090容量配置;搭配4块NVMe,冷专家卸载比例70%。具体速度随测试场景和硬件配置变化。