首页

投稿

[LLM+RL] 理解 GRPO 公式原理及 TRL GrpoTrainer 代码实现（advantage 与 loss 计算）

6.3万

118

2025-02-16 19:58:34

未经作者授权，禁止转载

本期 code：https://github.com/chunhuizhang/llm_rl/blob/main/tutorials/r1-k1.5/trl_grpo.ipynb

五道口纳什发消息

现代人工智能，不会过时的概念与原理（黑盒到白盒）。跟AI一起进化，connecting the dots

[LLM+RL] 合成数据与model collapse，nature 正刊封面

16:11

[LLM+RL] 基于开源 LLM 实现 O1-like step by step 慢思考（slow thinking），ollama，streamlit

12:33

[LLM+RL] model.generate 之 beam search decoding strategy

11:47

[LLM + RL] kimi 1.5 论文导读与 highlights

42:54

[LLM+RL] R1 论文导读，SFT vs. RL，RL 基础以及 GRPO 细节，以及一系列复现工作讨论

57:59

[LLM+RL] 理解 GRPO 公式原理及 TRL GrpoTrainer 代码实现（advantage 与 loss 计算）

48:42

[LLM+RL] GRPO 中的 KL div（散度），reverse vs. forward，以及无偏估计（Schulman）

12:06

[RL4LLM] 理解 reasoning model Tokenizer 的 chat template，vllm inference

23:44

[RL4LLM] PPO workflow 及 OpenRLHF、veRL 初步介绍，ray distributed debugger

24:13

[RL4LLM] 深入 PPO-clip 目标函数细节（及重要性采样）

24:23

[RL4LLM] GRPO loss/objective 分析及可能的 biases 分析（DAPO，Dr. GRPO)

19:05

[RL4LLM] deepseek v3 工具调用的 bug 以及理解 chat_template 的 function calling

14:17

[veRL] 性能优化 use_remove_padding （flash attn varlen）变长序列处理

24:00

[veRL] log probs from logits 与 entropy from logits 的高效计算

10:18

[RL4LLM] base vs. instruct model，个性化（custom）chat template（make prefix）

21:38

[RL insights] 深入理解 Policy Gradient 算法（REINFORCE, Actor-Critic, A2C），打开强化学习算法的总钥匙

35:15

[RL insights] 推导和理解 Policy Gradient 算法，PG vs. MLE/SFT，采样及训练过程

17:21

顶部