BERT

Pre-TrainedなTransformerとして最初にでてきた論文。

• arxiv:1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

GLUEのスコアを大幅に更新した。