アテンション

機械翻訳

論文、arxiv: 1409.0473 Neural Machine Translation by Jointly Learning to Align and Translate,で提唱されたNMTの機構。

いろいろと変形があるが、基本的にはEncoder-Decoderモデルで、Encoderの最後の状態と現在生成しているDecoderのトークンのどこが対応しているかを、何らかのスコア（内積とか）で定義して、一番近いエンコーダーのアウトプットを特に重く見る、という仕組み。

定義

hの系列と$s_{i-1}$のどこが対応しているかを調べて、その結果を入力に使う。 cの式はsoftmaxになっているので一番スコアの高いhが選ばれる。

scoreは元論文ではalignment modelと言われていて1層のNNが使われていたが、その後単なる内積が使われる事が多くなったと思う。 Encoder-Decoder以外でも広く使われるようになった現在では、単純にscoreと見ておくのが良いと思いそうした。

Encoder-Decoderのダイアグラム

現在 $s_i$を出そうとしている時に使うアテンション $c_i$ は以下。