RoPE

DeepSeek V3などで使われているPositionEmbeddings。

• arxiv: 2104.09864 RoFormer: Enhanced Transformer with Rotary Position Embedding 論文

原論文から解き明かす生成AIの7.2.1でも扱われている。