NeuralMachineTranslationOfRareWordsWithSubwordUnitsなどで提唱された、Neural Machine Translationでのレアワードの対策。 最近はトランスレーション以外にも機械学習のLLM全般で使われている。
BPEとユニグラム言語モデルが人気の2手法。SentencePieceが良く出来ているライブラリとして有名。