サイコロ本

Less than 1 minute

大規模なコーパスで単語（や単語種類）の出現頻度をカウントし、それを大きい順に並べると、頻度fと順位rの間には、fと1/rが比例する、という関係がある。

つまり、f*r = kという定数kがある。

コーパスは以下の３つを含むと解釈出来る

低頻度の大量の単語、というのがこの法則と自然言語処理を考える上で重要になる性質。

統計的な自然言語処理において、MLEでパラメータを推定しようとすると、多くの単語（やそれを処理した種類など）がsparseになる、という問題に直面する事になる。

n-gramのうちtrigram以降がsparseになるという問題。 IBMの特許データセットではトレーニングセットに現れない23%のトリグラムがテストセットで現れた、と報告している。

基本的にこうした低頻度のものをコーパスを増やして頻度を上げようとすると、さらなる低頻度のものが新しく追加されていって減っていかない、というのがZipf lawの含意でもある。

Zipf law (1.4.3)