Prompt Cache 经常被一句“重复输入可以打折”带过,但真正落到 Agent 和 RAG 系统里,问题远不止价格。
本期从推理过程讲起,依次拆解 Prefill 与 Decode、KV Cache 的状态含义、PagedAttention 的显存管理方式,以及 vLLM 和 SGLang 如何寻找最长公共前缀。后半部分会进入工程问题:缓存为什么失效、怎样安排 Prompt、长会话如何保持可复用、RAG 文档的 KV 为什么不能直接拼接,以及多 GPU 路由和多租户隔离需要注意什么。
适合正在开发 LLM 应用、Agent、RAG 或推理服务的工程师观看。