ConvolutionalSequenceToSequenceLearning

機械翻訳にRNNでは無くCNNを使う事を提唱した論文

• arxiv:1705.03122 Convolutional Sequence to Sequence Learning
• fairseq/fairseq/models/fconv.py at 3d262bb25690e4eb2e7d3c1309b1e9c406ca4b99 · facebookresearch/fairseq 実装はこれか。
  • fairseq/fairseq/modules/learned_positional_embedding.py at main · facebookresearch/fairseq positional embeddingは学習しているな(sinの奴も入っているが）。位置のindexに対してembedを学習する感じ（Wを掛けて使う感じ）っぽい。これでいいのでは、という気はするな。