也许是最强的12G显存＋32G内存跑27B的本地Agent方案-v3更新

Name: 也许是最强的12G显存＋32G内存跑27B的本地Agent方案-v3更新
Uploaded: 2026-10-19T14:01:38.000Z
Duration: 2 min 1 s
Channel: 月光下的豆豆乖

3990

2026-10-19 22:01:38

一台RTX 5070 Ti Laptop 12GB游戏本、32GB内存，在本机运行Qwen3.8-27B，并把它当成能调用工具的本地Agent。（12加32组合均在编译后可正常使用） v0.1.3的三项更新：默认KV切换到NVFP4、针对5070 Ti Laptop的SM120 prompt调度、以及累计缓存后的Host压力回收。关键数据：固定短任务约65–85 tokens/s；128K/200K长文测试可用，256K为逻辑容量；部分场景下84,925 tokens历史只新算52 tokens。v0.1.3中，128K/200K冷输入的prompt耗时分别下降18.86%/26.66%，206,552-token长任务的prompt从683.215秒降到359.219秒，解码基本不变（-0.19%）；压力测试从375/512行中断，变为512行、六工具、18/18召回全部通过。 NVFP4相对RK4V4会增加一些显存占用，显存紧张时可在config/local.json把KVDType改回rk4v4。公开起步预算仍为DeviceKV 36,864 / RetrieveTokens 3,840。所有数字都是附带条件的记录，不是跨方案排名。仓库在简介和视频二维码里。欢迎先点个Star，再按部署手册跑一个小任务，把你的硬件、模型、参数和完整日志提交回来。仓库：https://github.com/CSUNX233/qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent

游龙当归海，海不迎我自来也

顶部