首页

投稿

[Agentic RL][33] PivotRL：在专家轨迹上局部RL，低成本、高性能，不反复生成长程轨迹

2367

0

2026-10-18 15:37:05

未经作者授权，禁止转载

长程 Agentic RL 在训练过程中需要反复生成长轨迹，成本很高，PivotRL在长专家轨迹上进行局部RL，采样成本更低，同时保留RL泛化能力的优势。笔记、代码会维护在一个私有github仓库，充电all in x系列的小伙伴可私信或者评论区给出github用户名或注册github的邮箱，我来邀请，邀请之后邮箱会受到邀请链接，点进去即可。 https://github.com/wyf3/all-in-ai/blob/main/notebook/RL.md

偷星九月333 发消息

两耳不闻窗外事，一心只搞大模型

[Agentic RL][01] 练习两天半，完全从零开始实现PPO算法（基于Qwen2.5-0.5B），不依赖第三方强化学习框架，从原理讲解到代码实现

58:26

[Agentic RL][02] 练习两周半，完全从零开始实现GRPO算法(不依赖第三方RL框架，并在Qwen2.5-1.5B上训练测试)，从原理到代码讲解

49:21

[Agentic RL][03] 练习两天半，完全从零开始实现DAPO算法（使用Qwen2.5-1.5B模型测试），从原理讲解、代码实现到训练展示全流程

24:26

[Agentic RL][04] 练习两天半，完全搞懂什么是无监督强化学习（复现TTRL），清晰易懂，你值得拥有

14:20

[Agentic RL][05] 练习两天半，教你如何使用verl框架进行强化学习（环境安装、数据集处理、奖励函数构建、重要参数解析、debug）

17:24

[Agentic RL][06] 练习两天半，使用verl实现code-r1（agent-rl，verl二次开发），原理到代码实现全流程解读

53:05

[Agentic RL][07] 超级详细的GSPO（GRPO又一变体，Qwen出品，必属精品）原理解读，你值得拥有！

15:16

[Agentic RL][08] 专为优化Agent而生的强化学习方法，基于熵自适应策略的采样，让你的Agent更会探索

13:54

[Agentic RL][09] 练习两天半，实现基于规则奖励的RLOO强化学习算法（Qwen2.5-7B测试，对比GRPO），从原理讲解到代码解读全流程

27:24

[Agentic RL][10] 练习两天半，从零实现ReMax强化学习算法（基于Qwen2.5-7B测试），从原理到代码实现，你绝对学得会

14:39

[Agentic RL][11] 练习两天半，从零复现reinforce++和reinforce++-baseline算法，从原理到代码实现，清晰易懂，一眼就会

18:27

[Agentic RL][12] 练习两天半，教你如何使用verl的multi-turn tool agent，从数据处理、配置文件修改到源码debug

29:40

[Agentic RL][13] VeRL强化学习实用教程：自定义奖励计算的若干方法，从简单到复杂，覆盖所有应用需求

16:18

[Agentic RL][14] Agent is all you need，verl自定义Agent Loop（python code交互）

13:47

[Agentic RL][15] verl参数怎么看，今天就给你们来个保姆级的教程

15:51

[Agentic RL][16] 强化学习（verl）训练日志怎么看，今天就给你们来个保姆级的教程~

09:24

[Agentic RL][17] 闭关一坤天，从零复现GDPO算法（英伟达出品，简单但有效），从原理到代码实现，喂饭级讲解

24:43

[Agentic RL][18] MiniMax M2.5背后的RL算法：CISPO 完全解读

12:41

[Agentic RL][19] 给PPO加上双重保险（双裁剪机制），让PPO稳中加稳

08:29

[Agentic RL][20] SAPO机制详解，大概率是Qwen3.5所用后训练算法（公式有点多，但很容易看懂）

21:21

[Agentic RL][21] GiGPO算法详解 & VeRL-Agent-Loop VS VeRL-Agent

33:01

[Agentic RL][22] MAPO：Mixed Advantage Policy Optimization

10:13

[Agentic RL][23] RL is all you need！verl core algos最全讲解！

44:54

[Agentic RL][24] slime：自定义程度最高的RL框架，从环境搭建（docker or conda）到开始训练

22:50

[Agentic RL][25] slime自定义Agentic RL流程，带你实现一个Code Agent训练

23:59

[Agentic RL][26] slime coding agent rl，使用claude code框架做强化学习，代码搭配示例讲解，通俗易懂

43:17

[Agentic RL][27] slime multi-agent rl，solver/rewriter/selector agent

25:51

[Agentic RL][28] ECHO：改善Agentic RL长程任务上下文过长、奖励分配问题

26:03

[Agentic RL][29] MaxRL：从三个视角用最大似然重新理解强化学习

18:37

[Agentic RL][30] CompactionRL：让模型学会压缩上下文

17:03

[Agentic RL][31] SAO：GLM 5.2/5.3 的选择，让 Agentic RL 更高效

24:22

从SFT、通用能力强化、Agent能力强化到RLHF，一个开源完整的LLM训练方案

40:59

[Agentic RL][33] PivotRL：在专家轨迹上局部RL，低成本、高性能，不反复生成长程轨迹

17:57

顶部