• 投稿

[LLM 原理] MQA、GQA、DeepSeek MLA 是什么?——KVCache 相关技术解析

3739
1
2025-02-21 23:01:56
93
53
147
13
上个视频聊了 KVCache 的原理,这次继续探索它相关的优化技术,比如 MQA、GQA 以及 DeepSeek 的 MLA。它们各自怎么运作?又是如何提升推理效率的?一起从基础出发,看看这些技术的核心思路。 我是个还在学习的学生,做这个频道也是为了记录和分享自己的理解,欢迎一起讨论、交流!
我是小小升,一只在 ML System 里摸爬滚打的学生,边学边记录。合作 air_haohan@163.com
LLM原理
(3/5)
2.6万播放
简介
[LLM原理] 投机解码原理:预测执行的加速之道
07:55
[LLM原理] FlashAttention 内部机制解析:探索高效注意力计算实现原理
15:20
[LLM 原理] MQA、GQA、DeepSeek MLA 是什么?——KVCache 相关技术解析
08:28
[LLM原理] 为什么能做KVCache?——从基础推导看其推理优化
09:38
[LLM推理] 深入理解大模型量化:GPTQ 原理解析
26:02
客服
顶部
赛事库 课堂 2021拜年纪