• 投稿

实测,单卡 4090 + llama.cpp 轻松跑 Claude-Opus-4.6蒸馏版Qwen3.5 27B,46 Token每秒!

7267
1
2026-03-20 17:02:31
89
14
135
10
我这次实测的是 Qwen3.5 27B 的一个高质量优化版本,用 llama.cpp 在 24GB 显存的 4090 上直接跑。结论先说: 第一,显存压力比我预想的小很多。单卡就能启动,而且 64K 上下文可以稳定开。这个上下文长度,比 GLM 4.7 Flash 高出不少,对个人使用已经很够了。 第二,速度确实不错,平均大概 46 token 每秒,日常对话、文档总结、代码理解,响应都很快。 第三,效果属于中等偏上。核心任务能完成,尤其是阅读理解、SVG 代码生成这类任务,表现已经挺优秀了。 缺点是并发能力相对一般,我后面调了一些更高性能参数,提升不算特别明显。
《机器学习算法与Python实战》
客服
顶部
赛事库 课堂 2021拜年纪