• 投稿

也许是最强的12G显存+32G内存跑27B的本地Agent方案

1.4万
0
2026-10-18 10:58:21
241
89
587
52
一台RTX 5070 Ti Laptop 12GB游戏本,32GB内存,尝试把Qwen3.8-27B变成可以持续工作的本地Agent。 这期用AI配音、程序化图解和真实浏览器录制,讲解NInfer + KVMem如何分配显存与内存、维修与版本升级解决了什么,以及雨夜便利店、鹈鹕骑车两个实际作品。 固定短任务约65–85 tokens/s;128K与200K进阶档召回分别5/5、4/5。256K为逻辑容量,满长度压力测试仍待完成。RTX 3060 12GB的40+ tokens/s来自用户提供的社区反馈,本片未复测。模型适配需核对引擎架构、转换和完整显存预算。 从一个小任务开始。欢迎把你的硬件、模型、上下文、参数和完整日志提交到仓库,帮助更多人复现。 仓库:https://github.com/CSUNX233/qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent
游龙当归海,海不迎我自来也
客服
顶部
赛事库 课堂 2021拜年纪