首页

投稿

[知识蒸馏][09] on policy distillation(OPD)中的kl散度详解

6212

20

2026-05-06 23:16:48

未经作者授权，禁止转载

OPD目前是后训练中非常重要的一环，一般会在RL后做一轮OPD，本期视频对OPD中的kl散度进行详细的介绍。笔记、代码会维护在一个私有github仓库，充电all in x系列的小伙伴可私信或者评论区给出github用户名或邮箱，我来邀请，邀请之后邮箱会受到邀请链接，点进去即可。

偷星九月333 发消息

两耳不闻窗外事，一心只搞大模型

[知识蒸馏][01] 耗时两天半，完全从零开始实现大模型知识蒸馏（Qwen2.5系列模型），从原理讲解、代码实现到效果测试，绝对让你搞懂模型蒸馏

28:14

[知识蒸馏][02] 练习两分半，使用DeepSeek-R1蒸馏训练自己的本地小模型（Qwen2.5-0.5B），原理流程全讲解，模型数据全给你

13:44

[知识蒸馏][03] 闭关两天半，完全从零开始实现Embedding模型知识蒸馏（学生模型Qwen3-Embedding-0.6B，教师模型4B/8B）

21:44

[知识蒸馏][04] 闭关2.5天，Embedding模型微调VS蒸馏（Qwen3-0.6B），谁更胜一筹，数据会告诉你答案，从原理流程、代码实现到结果分析

19:07

[知识蒸馏][05] 闭关两天半，从零实现大模型Logits知识蒸馏（Cross-Tokenizer，GLM4-9B-->Qwen2.5-0.5B）

35:42

[知识蒸馏][06] 闭关两天半，完全从零实现大模型RL知识蒸馏（On Policy Distillation，Qwen2.5），你值得拥有

19:41

[知识蒸馏][07] 练习两天半，从零实现SDFT(Self-Distillation Enables Continual Learning)

20:36

[知识蒸馏][08] 练习两周半，从零实现SDPO（Reinforcement Learning via Self-Distillation)

29:57

[知识蒸馏][09] on policy distillation(OPD)中的kl散度详解

13:57

[知识蒸馏][10] TCOD:将课程学习加入On-Policy Distillation，改善Agent蒸馏场景下的不稳定性

15:17

[知识蒸馏][11] Uni-OPD：从教师学生双视角优化OPD，提升教师模型监督可靠性、学生模型探索多样性

19:37

[知识蒸馏][12] 一个很容易被忽略但是很重要的问题：为什么OPD中一般不直接使用reverse kl backward？

08:58

[知识蒸馏][13] slime里面的on-policy distillation的实现逻辑

17:33

[知识蒸馏][14] ROPD：闭源大模型作为教师模型如何OPD

16:09

[知识蒸馏][15] 改善OPD中教师监督不可靠问题（轨迹级、prefix级、token级等）

24:05

[知识蒸馏][16] Multi-teacher On-policy Distillation，将多个模型能力整合进一个模型

18:36

[知识蒸馏][17] ExOPD：On-policy Distillation中学生模型如何超过教师模型

20:40

[知识蒸馏][18] OmniOPD：不限教师模型来源，Logit-Free OPD

20:12

顶部