13_3_1のLDS周辺を追う

PRMLの13.3.1のLDS周辺を少し追う

読んでいたら良く分からなくなってきたので、少し計算を追う。

粗筋はこの辺から。 http://jbbs.shitaraba.net/bbs/read.cgi/study/12706/1481675604/99

そういう訳で、パラメータが既知として、観測値からzを出したいのだと思う。

どうやってるかを理解すべく、まず13.85が何なのか見たい。

まずはアルファと$c_n$の定義が以下。

次に13.85を追う。 左辺は定義にあてはめると、

これは$x_{n-1}$までが得られた状態で、$x_n$が得られる確率と、その$x_n$が得られた状態で$z_n$が得られる確率の積となっている。

我々はzを求めたいので、$x_n$が得られる確率を掛けている理由が良く分からないな。 少し考えてみよう。

zの得られる確率が出るならそれこそが答えな訳だ。で、xを元にそれを求めるというのは頑張れば13.75と13.76から出来そうな気がする。

これが大変だからこんなやり方をしてるのだろうが、まず素で何もかんがえなかったらどうするかを考えてみよう。

単純には13.76式のガウス分布で、$x_n$が得られる確率が最大になるように$z_n$を決めれば良い。

それはCの形を知らないが、単純にはC$z_n$が$x_n$に一致すれば良いだろう。 これでは何がダメなのか？

普通に考えると、以前の観測データを全て無視している所だよな。

求めたいのは以下か。

さて、このまま一気にやるのは大変だが、端から順番にやっていく事は出来そうだ。ただ、nの大きい方の観測データも使いたいから、未来から過去へのメッセージも要りそうだな。

n期の同時確率を、n-1期の同時確率と間の遷移の関係で表してみよう。 こんな感じか？

お、これは13.85に近い物だな。 右辺を一致させるにはxだけの同時確率で両辺を割れば良さそうか？

お、これなら一致しそうだね。13.85式は理解した。

13.86式を考えよう。アルファが今回は分布の形が決まってて、ガウス分布となる。 それをあらわに表すと13.84となってる。このパラメータは良く分からないがとにかく何かで置ける。

さらに遷移の式も入れて13.86が出る。

この積分は実行出来て、右辺は$z_n$のガウス分布と$x_n$のガウス分布の積になる訳だ。

これが左辺の形になる、という事で、過去のパラメータと新しい観測値$x_n$を元にmuとVが、つまり$z_n$の分布が推計出来た。