用的strata框架iq3-xxs,MTP+视觉全开;项目地址:github.com/Niko1221/Strata 模型地址:www.modelscope.cn/models/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
电脑配置:14490f+5060ti16g+ddr4 64g 3200速度平均40t/s;关闭视觉后能提升到50t/s左右;5070显卡能提速50%
低功耗,跑一个小时的任务,显卡没上过60度,功耗平均70W;
另外长思考死循环问题,我在hermes测了几天,发现是模型对于任务同时多次请求和多次并发操作,会进行排队处理,为了防止排队超时浪费时间,我让AI都改成了单次请求串行操作,目前没碰到过死循环
对比原版和swift1.5
原版strata:长任务执行成功率比swift1.5高很多,经常一次完成,但是高思考造成的时间成本摆在那
swift1.5:思考时间比原版少≈46%,但是长任务会出现返工现象