• 投稿

Qwen3.8-Flash-Next本地部署,用硬盘跑AI大模型?是黑科技还是纯折磨?

2万
6
2026-08-29 23:25:18
含AI生成内容
397
45
558
38
本期实测 Qwen3.8‑Flash‑Next,IQ4量化版本,93GB 超大 MoE 模型。 在消费级硬件下,演示 LM‑Studio 完整部署流程。 当显存不够、内存也不够时,可以把模型放到固态硬盘运行,但是会有巨大性能代价,实测只有4.8tokens/s,推测这主要是因为我的内存只有32G,面对近100G的模型,还是太捉襟见肘了,如果你有大内存,能将模型完全装下,或者能装下大半,想必速度也会比我快。 重点避坑: GPU 卸载参数真实含义,不要搞反层数; 强制 MoE 专家到 CPU 实验开关,内存小不要开大; 固态硬盘部署可以加载模型,但大量权重走虚拟内存,推理速度暴跌; 硬件:RTX5090 32G + 32G 系统内存 软件:LM‑Studio
QQ 交流群1129501629或1130856917, 半画师,半游戏开发,半AI编程,主打一个一瓶子不满,半瓶子晃荡!!
接下来播放
自动连播
客服
顶部
赛事库 课堂 2021拜年纪