我的设备是 单卡2080ti+32G ddr4
目前结合B站各佬摸索到性价比最高的参数:
Qwen3.8-27B-IQ4_NL+200k+KVq4+mtp3p0
短程任务最快速度达40~50tps,长对话均速30tps
超长程的agent任务一般15~25tps,均速30tps。
不用Q3和Q4其他尺寸的理由是,首先速度差不多,最低困惑度的Q4XL也并没有测出质量上的区别
KV千万不要用KVQ4.1,速度上和KVQ8一样为什么不用KVQ8?上下文也不会加长多少,就算Q4XL+KVQ8也能达到ctx85k的水平,用KVQ4.1也最多到100k,而Q4能到144k。
如果是Q4XL+KVQ8+ctx85k,推荐是mtp6p0.75是最快的,最快能到30tps,平均也是20tps,不过我是没测出和上述参数的区别。
接下来就是harness,其实卡丁车是用deepseek harness。但PVZ和黑洞是在claude code上测试,不知道为什么,qwen27b+dsh巨慢,我花了72小时,只跑了卡丁车出来,而且卡丁车只跑了1小时,72小时都浪费在PVZ上,一跑就是半天,没办法一直盯着,但是PVZ和黑洞一旦放在CC上一个半小时就已经做好了,然后就是它自己的自检花了三小时,前后都是5小时左右。我也不知道啥问题,反正我这qwen27和cc很适配。
总之欢迎大家复现测试!!