• 投稿

强化学习论文精读 第0讲·开篇|PPO 论文:Proximal Policy Optimization——把 TRPO 的好处留下来,把它的麻烦全扔掉

7613
0
2026-10-17 12:00:00
349
102
862
35
强化学习里绕不开的一篇经典论文,2017 年的 PPO。这期先把「近端」这两个字讲透——为什么策略更新不能一次跨太远,以及摘要里你到底要抓住哪两点。公式推导留着后面慢慢拆,先跟着把框架搭起来。
科研学习记录,共同进步 | 固定更新文献阅读,其他时间随意
3.4万播放
简介
强化学习论文精读 第0讲·开篇|PPO 论文:Proximal Policy Optimization——把 TRPO 的好处留下来,把它的麻烦全扔掉
09:05
强化学习论文精读 第1讲|PPO 论文:公式 1 :策略梯度估计量的形式是什么
22:30
强化学习论文精读 第2讲|PPO 论文:目标函数是什么,不可导怎么一步步推出公式 1
01:01:17
强化学习论文精读 第3讲|PPO 论文:目标函数的导数怎么把累积回报R转换为优势函数A,得到公式 1
33:20
强化学习论文精读 第4讲|PPO 论文:把梯度装进一个目标函数——公式 2,类似给梯度造个 loss
14:06
强化学习论文精读 第5讲|PPO 论文:公式 3——重要性采样让旧数据能多走几步(附:它在旧参数处正好等于公式 1)
33:05
强化学习论文精读 第6讲|PPO 论文:约束函数为公式4——近似只在旧参数附近成立,就用 KL 把"附近"量化出来
14:08
强化学习论文精读 第7讲|PPO 论文:目标函数为公式 7——外部约束搬进目标内部,用 clip 对过大的策略更新自动刹车
56:06
强化学习论文精读 第8讲|PPO 论文:优势函数的估计形式是什么——公式 10-12
20:16
强化学习论文精读 第9讲|优势函数估计:从递推式到求和式,完整证明公式 10–12 的等价性
28:57
强化学习论文精读 第10讲|PPO 论文:Algorithm 1 只有 8 行,数据在里面流过谁、变成什么形状
59:13
强化学习论文精读 第11讲|PPO 论文:公式 9 是 PPO 的优化目标——策略、价值、探索三件事写进一个损失
17:15
客服
顶部
赛事库 课堂 2021拜年纪