📱 这几天 Strata 是真的火:「你的游戏电脑上就能跑 1250 亿参数的模型」——当然,前提是你有 N 卡。那我们 AMD 的人跑什么呢?
答案就四个字:选 gufo。一块消费级的 395 + 128 GB 统一内存,离线跑通 1800 亿参数旗舰。理由全在这条视频里。
同一台这样的小盒子 + 同一个 Qwen3.8-Flash-Next:
✅ 短上下文大家差不多(≈1200 token/秒);拉到 131K,gufo 还有 1030,llama.cpp 只剩 180(−66%)
✅ 它不是「某个模型的补丁」,是工具箱:三个文本模型 + 15.3× 实时率的语音识别 + 201 ms 出声的 TTS + 图像/视频在途
✅ 直接喂社区现成的 Unsloth GGUF,不用再下 163 GB 专有权重(这是对 halogen 说的)
✅ 生产 30+ 天:零 OOM、零设备丢失、回滚只要换 tag(≤15 秒)、8 路并发聚合 2.7×
❌ 代价也说清楚:小团队、动得快、ROCm 栈——所以 llama.cpp 留在旁边当前锋地下的地基
🔥 顺便聊聊这两天刷屏的 Strata(同一作者的另一条赛道):它跑的是同一个模型,但家是「≥12 GB 显存的独显 + 32–64 GB 内存」的游戏台式机,而是我们这种统一内存的 395 设备。它是朋友,不是对手——有 NVIDIA 卡的你,值得周末装一下。