从分布的视角看三种后训练的方法(SFT、RL和OPD),从训练数据差异、优化方向差异解释为什么RL和OPD相比于SFT来说泛化性能会更好、更不容易灾难性遗忘。
原始帖子参考:https://x.com/nrehiew_/status/2053482349300797526?s=20
笔记、代码会维护在一个私有github仓库,充电all in x系列的小伙伴可私信或者评论区给出github用户名或邮箱,我来邀请,邀请之后邮箱会受到邀请链接,点进去即可。
https://github.com/wyf3/all-in-ai/blob/main/notebook/%E7%9F%A5%E8%AF%86%E8%92%B8%E9%A6%8F.md