強化学習

機械学習の一分野。

CS234: Reinforcement Learning Winter 2026が原論文から解き明かす生成AIで勧められていたのでやってみたい。 1月5日から、となっているが、youtubeで2024年の動画が見れるっぽいので、これでいいかな。

• Stanford CS234 I Reinforcement Learning I Spring 2024 I Emma Brunskill - YouTube

全部で16動画か。一日1〜2動画で2週間くらいでやりたいな。

Lec1: Introduction 2026-10-18 (日)

Stanford CS234 Reinforcement Learning I Introduction to Reinforcement Learning I 2024 I Lecture 1 - YouTube

• ramification: 分岐、予期しない結果。longer termi ramificationsで長期的な影響、みたいな意味になるらしい。
• MDP: Markov Decision Problem
  • POMDP: Partially observableなMDP

内容

• 強化学習とは
• 強化学習の用語定義
• MarkovDecisionProcess

Lec2: Tabular MDPのポリシー 2026-10-19 (月)

Stanford CS234 Reinforcement Learning I Tabular MDP Planning I 2024 I Lecture 2 - YouTube

• MarkovDecisionProcess
  • Q関数
  • ベルマンバックアップ演算子

Lec3: Model Free Policy Evaluation 2026-10-20 (火)

ModelFreePolicyEvaluation

Lec4: モデル無しでのPolicy ImprovmentとQLearning 2026-10-28 (水)

Stanford CS234 Reinforcement Learning I Q learning and Function Approximation I 2024 I Lecture 4 - YouTube

前回までで、モデルが無くてもポリシーを評価する方法を学んだ。 今回はポリシーimprovementをどうするかをやる。

• ModelFreePolicyImprovement
  • モンテカルロ
  • TD Learning
    • SARSA
    • QLearning
  • Value関数の関数近似
  • DQN

Lec5: PolicySearch I

PolicySearch