論文をどこまで辿るべきか

論文の読み方というと、結局そこから参照されている論文をどこまで辿るべきか、という話になる気がする。

今読んでいるTowords a Theory of Toknization in LLMsにも、 多くの既存研究へのreferenceがある。 例えばTransformerがユニグラムを学んでしまう、というのは非常に興味深い話で、 読む価値がある重要な論文に見える。

ただ、トークナイズというのは生成AI全体からすれば凄く末端の問題でもある。 BPEとユニグラムモデルがどう動くのかを理解しておけば他の分野を理解するのには問題は無いだろう。 それだけを理解するなら論文を読む必要は無いし、 論文を読むにしてもBPEの論文とsubword regularizationの論文の関連する所だけを、 しかも分割にだけ集中して読めば十分である。 この辺の難しさは計算量とか結果の評価や他との比較とかそういう周辺の話題である。 分割だけを理解するなら難しい所はほぼスキップ出来る。

ただ、必要な事だけを学ぶ、という姿勢で進めると、 そもそも生成AIの理論を学ぶのは必要なのか？という話になる。 そして必要とはなんぞや？という話になる。

生成AIを使うにはまぁここまで知る必要は無いだろう。 使うだけよりも深く知りたいと思っても、まぁこの本でやるような所までやる必要は無いように思う。

この本のメッセージとしては、この生成AIという驚嘆すべきソフトウェアについて、 その驚きを味わい尽そう、というような本に思う。 この凄い奴の凄さを、驚きの心を忘れずに見て行こう、というような。 それは必要な事だけをやっていては見えない、 けれど今の時代にもっとも楽しめるエンターテインメントでもある。

冒頭の話に戻ると、 必要な事だけをやっていては見えないエンターテインメントの必要な事とはなんぞや？ という話になってしまう。 全部いらないといえば全部いらないし、驚くべき事、味わいぶかい事はいくらでもあり、 それらは全部見るに値する。 その時に、何を見て何を見ないで済ますのが良いのだろう？