• 投稿

12G显存跑256K上下文,国产27B+自研KV实测:decode翻3倍,350ms去哪了

910
0
2026-10-07 12:07:31
个人观点,仅供参考
15
5
25
2
一张RTX 3060 12G,国产27B三元模型,一次读26万token——还记得上篇吗? 这篇是下篇:定向优化之后,decode从7字/秒干到35字/秒,只改3行。 【时间轴】 00:00 开篇:12G与256K,这矛盾怎么解 00:20 前情:NIAH 64K中文全程召回,92.68% 00:50 保险丝:16K思考token没触发?==写成了>= 01:20 350ms去哪了:计时器三级点名 02:30 自噬循环:搬回来,吃掉,再搬回来 03:20 修法三行:decode跳过mid-ensure restore 04:10 成绩单:26.7/31.6/32.9/37.3,四轮复现+召回全对 05:10 262K全绿:T1 46分钟不死,生产已切 源码+数据: 开源+数据:https://github.com/tancau/ninfer-kvmem-ring
客服
顶部
赛事库 课堂 2021拜年纪