本期实测 Qwen3.8‑Flash‑Next,IQ4量化版本,93GB 超大 MoE 模型。 在消费级硬件下,演示 LM‑Studio 完整部署流程。 当显存不够、内存也不够时,可以把模型放到固态硬盘运行,但是会有巨大性能代价,实测只有4.8tokens/s,推测这主要是因为我的内存只有32G,面对近100G的模型,还是太捉襟见肘了,如果你有大内存,能将模型完全装下,或者能装下大半,想必速度也会比我快。
重点避坑:
GPU 卸载参数真实含义,不要搞反层数;
强制 MoE 专家到 CPU 实验开关,内存小不要开大;
固态硬盘部署可以加载模型,但大量权重走虚拟内存,推理速度暴跌;
硬件:RTX5090 32G + 32G 系统内存 软件:LM‑Studio