PPO
Less than 1 minute
PPO
強化学習のPolicySearchでポリシースペースで離れすぎないように制約を入れたもの。
- Stanford CS234 Reinforcement Learning I Policy Search 2 I 2024 I Lecture 6 - YouTube
- Stanford CS234 Reinforcement Learning I Policy Search 3 I 2024 I Lecture 7 - YouTube
Telescoping sum: nまでの和が、それぞれ打ち消し合って最初と最後だけ残るような奴。
GAE
High-Dimensional Continuous Control Using Generalized Advantage Estimator (ICLR 2016 by Schulman et al.)
PPOまとめ
- data efficiencyの改善: 新しいポリシーから追加のデータを集める前に複数のgradient stepを進める場合がある
- monotonic improvementのlikelihoodの改善のためにclipを使ったりする
- 局所最適への収束
- 実装が簡単、ChatGPTなどでも使われてる