ユニグラム言語モデル

機械学習で使われるサブワード分割手法の一種。BPEに対する問題意識から作られたもの。

正式には各サブワードが単純に独立な分布で現れるという前提の言語モデルがユニグラム言語モデルで、 その言語モデルを使ったサブワード分割というのが正しい言い方だと思うが、省略して「ユニグラム言語モデル」を分割手法の名前に使う事が多い。

確率的なのでSubwordRegularization出来る事と、greedyではなくviterbi的な分割が出来るのが魅力。（viterbiアルゴリズムはHMMを参照の事）

SubwordRegularizationで提唱されて、SentencePieceに入っている。