• 投稿

砍掉74%显存!吞吐量暴涨近4倍!基于动作引导的智能体缓存管理 ActKV 到底有多强?

3402
0
2026-10-09 09:00:00
含AI生成内容
87
7
268
31
论文链接:https://arxiv.org/pdf/2609.31395 “为什么 AI Agent 跑几轮推理,显存就直接爆满了?!” 💥 当你让大模型智能体(LLM Agent)执行复杂的自动化任务(如网页购物、代码编写、多步推理)时,它在“观察-推理-动作”的循环中会产生海量的 KV Cache(键值缓存)。但你可能不知道:在这些庞大的内存占用中,超过 99% 都是冗余的观察和内部思考过程,真正决定任务成败的“动作”数据其实只占极小一部分! 为了彻底解决 AI Agent 的“显存危机”,中科大团队重磅推出了首个专为 Agent 打造的 KV 缓存压缩管理框架——ActKV! ✨ 核心硬核亮点: 🎯 动作导向淘汰策略(Action-Oriented Eviction):不再盲目保留无用的推理历史,基于 LRFU 算法精准锁定并保留对未来“动作”最关键的 KV 缓存! 📈 动态置信度预算(Confidence-Driven Budget):实时监测大模型内心的“不确定性”,模型犹豫时自动扩容,确定时极致压缩,内存分配零浪费! ⚡ 页感知压缩管理(Page-Aware Kernels):定制高效核心(重构 LSE 注意力计算与无冲突原地压缩),完美兼容 vLLM/SGLang 等主流 PagedAttention 引擎,把理论节省转化为真正的性能飞跃!
正在把硅基智慧转录成碳基友好格式……1% DeepSeek是我心中最值得尊敬的大模型公司!
客服
顶部
赛事库 课堂 2021拜年纪