正規分布の対数尤度

$\displaystyle log f(x| \mu, \sigma ) = - log \sqrt{2 \pi} - log \sigma - \frac{(x- \mu)^{2}}{2 \sigma ^2}$

スコア関数

$\displaystyle \Phi ( x, (\mu ,\sigma)) = \left( \frac{\partial}{\partial \mu} log f(x| \mu, \sigma ) , \frac{\partial}{\partial \sigma} log f(x| \mu, \sigma ) \right)^{T}$

を、要素ごとに書く。普通に微分する。

他の書籍では $\sigma ^2$ でそのまま扱うことが多かった気がしたので、 $\sigma$ で微分するのちょっと新鮮だった。

要素その1

$\displaystyle \Phi ( x, ( \mu , \sigma))_{1} = \frac{x- \mu}{ \sigma ^2}$

要素その2

$\displaystyle \Phi ( x, (\mu ,\sigma))_{2} = - \frac{1}{ \sigma} + \frac{(x- \mu) ^{2} }{ \sigma^{3}}$

Cross -Derivative

スコアをまた微分する。

1,1要素

$\displaystyle \dot{ \Phi} ( x, ( \mu , \sigma))_{1,1} = - \frac{1}{ \sigma ^{2}}$

1,2要素

$\displaystyle \dot{ \Phi} ( x, ( \mu , \sigma))_{1,2} = \dot{ \Phi} ( x, ( \mu , \sigma))_{2,1} = - \frac{2(x- \mu )}{ \sigma ^{3}}$

2,2要素

$\displaystyle \dot{ \Phi} ( x, ( \mu , \sigma))_{2,2} = \frac{1}{ \sigma ^{2}} - \frac{ 3(x- \mu)^{2}}{ \sigma ^4}$

情報行列

さっきのに-1かけて積分する。

$\displaystyle \int_{S} f(x) dx =1$

が使えたり分散の定義そのものだったりするのでほぼ計算不要。

1,1要素

$\displaystyle F ( \mu, \sigma) _{1,1} = - \int_{ - \infty}^{ \infty} - \frac{1}{ \sigma ^{2}} f(x| \mu, \sigma ) dx = \frac{1}{ \sigma ^2}$

1,2要素

$\displaystyle F( \mu, \sigma) _{1,2} = - \int_{ - \infty}^{ \infty} - \frac{2(x- \mu)}{ \sigma ^{3} } f(x| \mu, \sigma ) dx =0$

2,2要素

$\displaystyle F (\mu, \sigma)_{2,2} = - \int_{-\infty}^{ \infty} \frac{1}{ \sigma ^2} - \frac{3(x- \mu)^{2}}{ \sigma ^{4}} f(x| \mu, \sigma ) dx = - \frac{1}{ \sigma ^2} + \frac{3 \sigma ^{2}}{ \sigma ^{4}} = \frac{2}{ \sigma^{2}}$