• 投稿

Qwen3.5-9b真的神,我这种4070ti入门级的卡本地都能跑得飞快

4.4万
1
2026-03-06 16:47:07
188
17
467
30
对于现在高昂的硬件,千问小模型给了我们普通玩家不可多得的机会,感谢阿里,感谢林俊旸! 对于个人玩家,目前比较好的有3个方案: 方案1.LM studio+Cherry Studio 在windows11本地部署方便快捷; 方案2.vllm+WSL2 ubuntu,难点需要熟悉各种Linux配置、程序安装、双系统调用等; 方案3.ExLlama v3+TabbyAPI,消费级显卡天堂推理极速(目前实验阶段,未来可期,速度最快) 速度方面,LM Studio>=llama.cpp>Ollama,LM Studio友好的界面相比llama的命令行优势明显; 此次使用的 unsloth/Qwen3.5-9B-Q4_K_M.gguf
浮萍漂泊本无根,天涯游子君莫问
客服
顶部
赛事库 课堂 2021拜年纪