首页

投稿

强化学习论文精读第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）

2274

0

2026-10-01 19:30:00

未经作者授权，禁止转载

强化学习论文精读第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）推导了强化学习中用重要性采样复用旧数据的核心公式，证明了公式三的梯度就是策略梯度的重要性采样形式。同时说明了重要性采样仅在新旧策略分布接近时有效，为后续的策略距离约束（公式四）做铺垫。

重要性采样

hallo128 发消息

科研学习记录，共同进步 | 固定更新文献阅读，其他时间随意

强化学习论文精读第0讲·开篇｜PPO 论文：Proximal Policy Optimization——把 TRPO 的好处留下来，把它的麻烦全扔掉

09:05

强化学习论文精读第1讲｜PPO 论文：公式 1 ：策略梯度估计量的形式是什么

22:30

强化学习论文精读第2讲｜PPO 论文：目标函数是什么，不可导怎么一步步推出公式 1

01:01:17

强化学习论文精读第3讲｜PPO 论文：目标函数的导数怎么把累积回报R转换为优势函数A，得到公式 1

33:20

强化学习论文精读第4讲｜PPO 论文：把梯度装进一个目标函数——公式 2，类似给梯度造个 loss

14:06

强化学习论文精读第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）

33:05

强化学习论文精读第6讲｜PPO 论文：约束函数为公式4——近似只在旧参数附近成立，就用 KL 把"附近"量化出来

14:08

强化学习论文精读第7讲｜PPO 论文：目标函数为公式 7——外部约束搬进目标内部，用 clip 对过大的策略更新自动刹车

56:06

强化学习论文精读第8讲｜PPO 论文：优势函数的估计形式是什么——公式 10-12

20:16

强化学习论文精读第9讲｜优势函数估计：从递推式到求和式，完整证明公式 10–12 的等价性

28:57

强化学习论文精读第10讲｜PPO 论文：Algorithm 1 只有 8 行，数据在里面流过谁、变成什么形状

59:13

强化学习论文精读第11讲｜PPO 论文：公式 9 是 PPO 的优化目标——策略、价值、探索三件事写进一个损失

17:15

顶部