• 投稿

Prompt Cache 深度解析:KV Cache、PagedAttention 与 Agent 工程

1762
0
2026-09-10 23:31:52
58
11
191
6
Prompt Cache 经常被一句“重复输入可以打折”带过,但真正落到 Agent 和 RAG 系统里,问题远不止价格。 本期从推理过程讲起,依次拆解 Prefill 与 Decode、KV Cache 的状态含义、PagedAttention 的显存管理方式,以及 vLLM 和 SGLang 如何寻找最长公共前缀。后半部分会进入工程问题:缓存为什么失效、怎样安排 Prompt、长会话如何保持可复用、RAG 文档的 KV 为什么不能直接拼接,以及多 GPU 路由和多租户隔离需要注意什么。 适合正在开发 LLM 应用、Agent、RAG 或推理服务的工程师观看。
一个长期做研发和架构设计的一线技术人,现在专注 AI、Agent 和智能工具实践。 适合技术人、产品人. ppt: youbeat.cn
1.8万播放
简介
DeepSeek Harness 源码解析④:Agent 工程化的六项架构设计
16:20
OpenAI Responses API 与 Chat Completions:从 Message 到 Item
08:54
Agent为什么能连续跑几十步?从模型到运行时,讲清长任务完整架构
17:32
Prompt Cache 深度解析:KV Cache、PagedAttention 与 Agent 工程
23:34
【Agent 上下文工程】高质量上下文应该怎么组织?从稳定前缀到历史压缩
25:07
Jev与System One原理解析:决策模型如何接入Agent?结合Kev公开实现讲清楚
14:21
Agent点了停止,为什么后台还在跑?拆解DeepSeek Harness的取消信号、工具收尾与进程回收
20:28
【推荐】Personal Agent 拆开讲|01 它是什么?从聊天到长期协作的整体架构
11:13
客服
顶部
赛事库 课堂 2021拜年纪