一台RTX 5070 Ti Laptop 12GB游戏本,32GB内存,尝试把Qwen3.8-27B变成可以持续工作的本地Agent。
这期用AI配音、程序化图解和真实浏览器录制,讲解NInfer + KVMem如何分配显存与内存、维修与版本升级解决了什么,以及雨夜便利店、鹈鹕骑车两个实际作品。
固定短任务约65–85 tokens/s;128K与200K进阶档召回分别5/5、4/5。256K为逻辑容量,满长度压力测试仍待完成。RTX 3060 12GB的40+ tokens/s来自用户提供的社区反馈,本片未复测。模型适配需核对引擎架构、转换和完整显存预算。
从一个小任务开始。欢迎把你的硬件、模型、上下文、参数和完整日志提交到仓库,帮助更多人复现。
仓库:https://github.com/CSUNX233/qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent