強化学習をやっていると、過去に結構時間をかけてやった事に出会う事がちょくちょくあり、 そこは軽い説明だけで理解出来る。 もっと言えば、強化学習は（少なくともCS234は）既に幾つかの関連分野を学んだ後で無いと理解出来ないとも思う。

経済学の時に学んだ割引現在価値のような話や、期待値の計算などはかなりそのまま使う。 関数解析で学んだ縮小写像や不動点のような話も良くでてくる。 マルコフ性のような話は結構な時間を掛けて学んだPGMの話とかなり関連が深い。

一方でやった事無い事もでてくる。 学習の収束速度などは自分の知らない分野で、まぁちゃんとやらないと理解出来ないんだろうなぁ、と思う。 やった事無い事でも、この動画内で扱うやった事無い事も出てきて、 それらはここで学ぶ事になる。 今の所だいたいは理解出来ていると思う。

時間を掛けて取り組んだ事というのは貯金のようなもので、 新しい事を学ぶ時に貯金が多いと短時間で概要を掴んだりも出来るし、 自分の知らない事にフォーカスして学ぶ事で、その分野を割とちゃんと習得するのも容易に出来る。

一方で時間を掛けて取り組まないと、「時間を掛けて取り組んだ貯金」は増えない。 使っても減る訳では無いんだが、時間が経つと忘れていくので目減りはしていく。 だから定期的に増やそうとしない限りはだんだんと無くなっていく。

貯金がある時には概要を掴むだけにも一定の意味がある。 十分な貯金があれば、原論文から解き明かす生成AIの4章を読んでRLHFの話がでてきた時に、 強化学習を学んでないとしても、ちょっとLLMに質問してやりとりをして概要を把握すれば、十分に内容を理解出来て前に進めるだろう。

ただ、そういう事を繰り返していくと貯金は目減りしていくので、やがてちゃんとした理解に到達しなくなる。 それはゼロイチじゃなくて曖昧にぼやっと進んでいく過程なので、どこまでをもってちゃんと理解していると言えるかは曖昧なものではある。 でもいろいろな人と話をすると、 この人はちゃんと分かって話をしているな、という人と、この人は全然分かってないな、という人はいる。 境界線は曖昧だが、境界から遠い所には明確な差がある。

貯金は定期的に増やしていくものだ、という認識を持って日々を生きていきたい。 増やすという事が日々の中に無くなってしまって、目減りしていく貯金をやりくりしてだんだんと表層的な事しか分からなくなっていくのは嫌だなぁ。