本期视频我们撕开各种前沿算法的包装，从纯粹的「工程视角」与「数学逻辑」出发，深扒大/小模型微调的底层逻辑。为什么现在的标准管道总是“先做SFT再做RL”？微调的天花板究竟在哪？
无论是跑在单张 RTX 4090 上的 7B 小模型，还是类似 DeepSeek-R1 这样的千亿巨兽，背后的数学规律是统一的。我们为你梳理了一套极其现实的工程决策框架：
在有限的算力约束下，如何根据你头顶是否有“同族老师”，在纯 RL（如GRPO）和 OPD（在线蒸馏）之间做出最聪明的技术决策？
这不是追逐论文的纸上谈兵，而是一份能在本地跑通、改写AI落地经济学的实战指南。
参考文献与开源工具
1. 核心理论洞察
Will Brown 的“复合论证”分析：精辟拆解了 SFT 数据分布天花板与 RL 验证器天花板的数学必然性。
X (Twitter): https://x.com/willccbb/status/2050038277454143918
2. 必读文献 (Core Papers)
GRPO 原始出处 (DeepSeekMath, 2024)：证明了无需 Critic 模型即可实现高效强化学习，降低 RL 门槛的基石。
ArXiv: https://arxiv.org/abs/2402.03300
OPD 奠基之作 (Agarwal et al.)：通过在线蒸馏解决暴露偏差（Exposure Bias）问题，小模型极速逼近大模型的理论基础。
ArXiv: https://arxiv.org/abs/2306.13649
3. 工程落地仓库 (Engineering Repos)
Unsloth (极致显存优化)：视频中提到的单卡 4090 跑通后训练链路的绝对核心工具。
https://github.com/unslothai/unsloth
Hugging Face TRL：业界标准的后训练库，全面支持 GRPO Trainer 以及用于跑通 OPD 链路的相关策略。
https://github.com/huggingface/trl
#工程视角 #大模型微调 #SLM微调 #后训练 #PostTraining #GRPO #OPD #在线蒸馏 #强化学习 #SFT #RTX4090 #Unsloth #DeepSeek #Qwen #算力优化 #AI工程化 #AI落地 #大语言模型 #小语言模型 #技术拆解
