興味ない章は流し読み、という感じなのであんまり真面目に勉強した感じはしないが、何が書いてあるのかはだいたい把握した。

Turbo codeなどのコーディングはCoverよりもずっと詳しくやっているが、反面、機械学習関連はベイズ統計的に解釈する、という話ばかりで情報理論的な扱いはあまり出てこない。 内容的にPRMLとかぶってるがPRMLの方が遥かに良く書けている。

Coverの本と2つ並べると、本のタイトルから期待するのとは正反対でMacKayが通信周りに強く、Coverが情報理論の通信以外への応用が幅広く扱われている。これはトラップだな。

章はすごくたくさんあるが、章によっては二ページくらいだったり単なるちょっとしたお話程度だったりするので、一見するほどごつくは無い。 ただそれでも全部読むのはそれなりに大変だった。

自分は情報理論の機械学習的な応用を期待してたのでまったく期待はずれではあった。 ただ機械学習以外のパートは良く書けているので、そこだけ飛ばせば情報理論の教科書としては双璧なのだろう。 機械学習は内容が悪い訳では無いのだが、さすがに今となっては古すぎる。

情報理論のメジャーな教科書を2つ読んだので、この分野の教科書の扱う範囲は割と理解出来たと思う。 最近の論文でこのへん出てきても、情報理論的な背景で困る事は無くなった。

情報理論全然やってこなかったのがずっとコンプレックスというか気になってたので、今回ちゃんとやれてよかった。