对于现在高昂的硬件,千问小模型给了我们普通玩家不可多得的机会,感谢阿里,感谢林俊旸!
对于个人玩家,目前比较好的有3个方案:
方案1.LM studio+Cherry Studio 在windows11本地部署方便快捷;
方案2.vllm+WSL2 ubuntu,难点需要熟悉各种Linux配置、程序安装、双系统调用等;
方案3.ExLlama v3+TabbyAPI,消费级显卡天堂推理极速(目前实验阶段,未来可期,速度最快)
速度方面,LM Studio>=llama.cpp>Ollama,LM Studio友好的界面相比llama的命令行优势明显;
此次使用的 unsloth/Qwen3.5-9B-Q4_K_M.gguf