OnPositionEmbeddingsInBERT.sync-conflict-20260901-164443-WI4LIFX

BERTにいろんなPositionEmbeddingsを試してみて結果を見る論文。

• On Position Embeddings in BERT - OpenReview

WhatDoPositionEmbeddingsLearnが微妙だったので他のも見てみようと思って見かけた論文。

Span prediction

SQuADに詳細があるように、パッセージの一部が回答になるようなQ and A。

検討する性質

• Monotonicity
• Translation Invariance
• Symmetry

について、いろいろなembeddingsがどうなっているかを見ていく。