2016 年 AlphaGo 第 37 手，柯洁哭了。2025 年 R1 在草稿里写下"Wait"，整个 AI 圈震了。
中间 9 年，是同一件事在变强：强化学习。这期把 MDP→策略梯度→PPO→GRPO→R1-Zero 的完整路径拆开演给你看，每个公式都配了几何直觉，每个论文图都摆在画面上。
看完你会知道：奖励是怎么塑造行为的、PPO 的 clip 在剪什么、为什么 GRPO 能省掉一半显存、R1 的"啊哈时刻"到底是怎么涌现的。
【参考资料完整列表】
📄 论文
Sutton & Barto · Reinforcement Learning: An Introduction (2nd ed, 2020)
Williams 1992 · Simple Statistical Gradient-Following Algorithms（REINFORCE 原始论文）
Schulman et al. 2015 · Trust Region Policy Optimization（TRPO）
Schulman et al. 2017 · Proximal Policy Optimization Algorithms（PPO，本片 引图）
Bellemare et al. 2017 · A Distributional Perspective on RL（C51）
Silver et al. 2016 · Mastering the Game of Go with Deep NN and Tree Search（AlphaGo Nature）
Silver et al. 2017 · Mastering the Game of Go without Human Knowledge（AlphaGo Zero）
Shao et al. 2024 · DeepSeekMath: Pushing the Limits of Mathematical Reasoning（GRPO图）
DeepSeek-AI 2025 · DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL（本片 引图）
