クロスエントロピー
Less than 1 minute
クロスエントロピー
サイコロ本の2.2.6より。
Random Variable Xと何からのpmf qがあった時に、H(X, q) = H(X) + D(p||q) として定義される。負の対数qをpの分布で期待値を求めたもの。
サイコロ本（Foundations of Statistical Natural Language Processing）、1章から10章まで - なーんだ、ただの水たまりじゃないか の2.2.6にメモがある。
なぜかCoverAndThomasには出てこない。
CoverAndThomasのデータ圧縮の定理5.4.3（間違った分布を元にしたコードのコスト）で全く同じ式はでているがクロスエントロピーという言葉は出てこないんだよなぁ。