SubwordRegularization

論文, 原論文から解き明かす生成AIの2章で扱っている。

arxiv: 1804.10959 Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

NeuralMachineTranslationOfRareWordsWithSubwordUnitsのサブワード分割がBPEによるgreedyなものだったが、 分割の曖昧性さが捨てられてしまう。SentencePieceには両方の実装が入っている。

分割の曖昧性さはregularizationの一種として解釈出来て、トレーニングに組み込むとよりよいモデルになるのでは？ というアイデアと、その例としてユニグラム言語モデルによるサブワード分割の提唱をしている。

概要

Subword Regularization