首页

投稿

[知识蒸馏][01] 耗时两天半，完全从零开始实现大模型知识蒸馏（Qwen2.5系列模型），从原理讲解、代码实现到效果测试，绝对让你搞懂模型蒸馏

18.6万

141

2025-01-17 21:22:51

未经作者授权，禁止转载

使用qwen2.5系列模型在特定任务上进行知识蒸馏，教师模型为qwen2.5-3b（qwen2.5-7b），学生模型为qwen2.5-0.5b，尝试只使用KL散度、微调学生模型加KL散度和不微调学生模型加交叉熵加KL散度等不同思路，并且使用了KL散度不同变种（反向KL散度，偏向前向KL散度，偏向反向KL散度）。从原理讲解、代码实现到效果测试，你肯定学得会。

偷星九月333 发消息

两耳不闻窗外事，一心只搞大模型

[知识蒸馏][01] 耗时两天半，完全从零开始实现大模型知识蒸馏（Qwen2.5系列模型），从原理讲解、代码实现到效果测试，绝对让你搞懂模型蒸馏

28:14

[知识蒸馏][02] 练习两分半，使用DeepSeek-R1蒸馏训练自己的本地小模型（Qwen2.5-0.5B），原理流程全讲解，模型数据全给你

13:44

[知识蒸馏][03] 闭关两天半，完全从零开始实现Embedding模型知识蒸馏（学生模型Qwen3-Embedding-0.6B，教师模型4B/8B）

21:44

[知识蒸馏][04] 闭关2.5天，Embedding模型微调VS蒸馏（Qwen3-0.6B），谁更胜一筹，数据会告诉你答案，从原理流程、代码实现到结果分析

19:07

[知识蒸馏][05] 闭关两天半，从零实现大模型Logits知识蒸馏（Cross-Tokenizer，GLM4-9B-->Qwen2.5-0.5B）

35:42

[知识蒸馏][06] 闭关两天半，完全从零实现大模型RL知识蒸馏（On Policy Distillation，Qwen2.5），你值得拥有

19:41

[知识蒸馏][07] 练习两天半，从零实现SDFT(Self-Distillation Enables Continual Learning)

20:36

[知识蒸馏][08] 练习两周半，从零实现SDPO（Reinforcement Learning via Self-Distillation)

29:57

[知识蒸馏][09] on policy distillation(OPD)中的kl散度详解

13:57

[知识蒸馏][10] TCOD:将课程学习加入On-Policy Distillation，改善Agent蒸馏场景下的不稳定性

15:17

[知识蒸馏][11] Uni-OPD：从教师学生双视角优化OPD，提升教师模型监督可靠性、学生模型探索多样性

19:37

[知识蒸馏][12] 一个很容易被忽略但是很重要的问题：为什么OPD中一般不直接使用reverse kl backward？

08:58

[知识蒸馏][13] slime里面的on-policy distillation的实现逻辑

17:33

[知识蒸馏][14] ROPD：闭源大模型作为教师模型如何OPD

16:09

[知识蒸馏][15] 改善OPD中教师监督不可靠问题（轨迹级、prefix级、token级等）

24:05

[知识蒸馏][16] Multi-teacher On-policy Distillation，将多个模型能力整合进一个模型

18:36

[知识蒸馏][17] ExOPD：On-policy Distillation中学生模型如何超过教师模型

20:40

[知识蒸馏][18] OmniOPD：不限教师模型来源，Logit-Free OPD

20:12

顶部