LayerNormとTransformerブロック
Less than 1 minute
LayerNormとTransformerブロック
2026-09-12 (土)に開催した原論文から解き明かす生成AIの3章-2の一人読書会ライブ。
一人読書会ライブ: 原論文から解き明かす生成AI、3章の2、LayerNormとTransformerブロック - YouTube
このWiki内の関連ページ
やった事のメモ
パラメータ数の概算まではやった。計算量の話はできなかったがまぁいいだろう。SoftMaxの大きい領域での勾配うんぬんの話はgive upとさせてもらったが、 分散1だと内積は分散dになる計算は割とちゃんとやった。