一张RTX 3060 12G,国产27B三元模型,一次读26万token——还记得上篇吗?
这篇是下篇:定向优化之后,decode从7字/秒干到35字/秒,只改3行。
【时间轴】
00:00 开篇:12G与256K,这矛盾怎么解
00:20 前情:NIAH 64K中文全程召回,92.68%
00:50 保险丝:16K思考token没触发?==写成了>=
01:20 350ms去哪了:计时器三级点名
02:30 自噬循环:搬回来,吃掉,再搬回来
03:20 修法三行:decode跳过mid-ensure restore
04:10 成绩单:26.7/31.6/32.9/37.3,四轮复现+召回全对
05:10 262K全绿:T1 46分钟不死,生产已切
源码+数据:
开源+数据:https://github.com/tancau/ninfer-kvmem-ring