• 投稿

[知识蒸馏][02] 练习两分半,使用DeepSeek-R1蒸馏训练自己的本地小模型(Qwen2.5-0.5B),原理流程全讲解,模型数据全给你

5.5万
115
2025-02-09 16:06:21
1176
599
4078
448
如何通过deepseek-r1蒸馏训练自己的本地小模型呢? 原理很简单,关键在怎么生产蒸馏数据。 针对不同领域的数据,使用deepseek-r1生成答案,然后根据领域特色对数据进行筛选,最后使用生产的数据微调小模型。
两耳不闻窗外事,一心只搞大模型
40.4万播放
简介
[知识蒸馏][01] 耗时两天半,完全从零开始实现大模型知识蒸馏(Qwen2.5系列模型),从原理讲解、代码实现到效果测试,绝对让你搞懂模型蒸馏
28:14
[知识蒸馏][02] 练习两分半,使用DeepSeek-R1蒸馏训练自己的本地小模型(Qwen2.5-0.5B),原理流程全讲解,模型数据全给你
13:44
[知识蒸馏][03] 闭关两天半,完全从零开始实现Embedding模型知识蒸馏(学生模型Qwen3-Embedding-0.6B,教师模型4B/8B)
21:44
[知识蒸馏][04] 闭关2.5天,Embedding模型微调VS蒸馏(Qwen3-0.6B),谁更胜一筹,数据会告诉你答案,从原理流程、代码实现到结果分析
19:07
[知识蒸馏][05] 闭关两天半,从零实现大模型Logits知识蒸馏(Cross-Tokenizer,GLM4-9B-->Qwen2.5-0.5B)
35:42
[知识蒸馏][06] 闭关两天半,完全从零实现大模型RL知识蒸馏(On Policy Distillation,Qwen2.5),你值得拥有
19:41
[知识蒸馏][07] 练习两天半,从零实现SDFT(Self-Distillation Enables Continual Learning)
20:36
[知识蒸馏][08] 练习两周半,从零实现SDPO(Reinforcement Learning via Self-Distillation)
29:57
[知识蒸馏][09] on policy distillation(OPD)中的kl散度详解
13:57
[知识蒸馏][10] TCOD:将课程学习加入On-Policy Distillation,改善Agent蒸馏场景下的不稳定性
15:17
[知识蒸馏][11] Uni-OPD:从教师学生双视角优化OPD,提升教师模型监督可靠性、学生模型探索多样性
19:37
[知识蒸馏][12] 一个很容易被忽略但是很重要的问题:为什么OPD中一般不直接使用reverse kl backward?
08:58
[知识蒸馏][13] slime里面的on-policy distillation的实现逻辑
17:33
[知识蒸馏][14] ROPD:闭源大模型作为教师模型如何OPD
16:09
[知识蒸馏][15] 改善OPD中教师监督不可靠问题(轨迹级、prefix级、token级等)
24:05
[知识蒸馏][16] Multi-teacher On-policy Distillation,将多个模型能力整合进一个模型
18:36
[知识蒸馏][17] ExOPD:On-policy Distillation中学生模型如何超过教师模型
20:40
[知识蒸馏][18] OmniOPD:不限教师模型来源,Logit-Free OPD
20:12
客服
顶部
赛事库 课堂 2021拜年纪