首页

投稿

9.1: 算子融合优化（Fused Kernel）

6211

2

2026-06-28 16:32:10

未经作者授权，禁止转载

课程代码和资料：https://github.com/wyann22/aios

王玉蝉发消息

AI infra

0.LLM初探与课程介绍

28:51

1.1 LLM基础: Tokenizer

12:06

1.2 LLM基础: Emedding&RMSNorm&Liner&ROPE

40:23

1.3 LLM基础: Attention

35:45

1.4 LLM基础: MLP&权重参数量计算

20:51

2.1 手撸qwen3推理：自回归生成

39:51

2.2 手撸qwen3推理：Qwen3Model/Qwen3ForCausalLM

18:32

2.3 手撸qwen3推理：DecoderLayer

29:49

2.4 手撸qwen3推理：权重加载

27:37

3.1 从单文件到推理框架: BaseOP

19:33

3.2 从单文件到推理框架: 模块拆分（参考minisglang）

21:30

4.1 KV-Cache: kv-cache原理与PD分离

21:51

4.2 KV-Cache: 手撸DynamicKVCache

14:12

4.3 KV-Cache: paged-kv-cache原理&物理内存池实现

21:17

4.4 KV-Cache: 分页内存管理CacheManager&Req

25:09

6.1: 静态批处理 static-batching原理

25:31

6.2: 静态批处理 static-batching代码详解

35:14

(番外)超长上下文 LLM 推理效率的来龙去脉：从 MHA 到 DeepSeek-V4 Hybrid Attention

35:34

7.1: 连续批处理 continus-batching详解

37:49

8.1: FlashInferAttentionBackend接入，推理提速1.8x

38:48

9.1: 算子融合优化（Fused Kernel）

19:28

10.1: cuda-graph优化原理

16:24

10.2: cuda-graph代码走读

20:03

11: 批量采样原理及实现

14:31

12: Tensor Parallelism 张量并行原理

30:03

顶部