概要

尺度パラメータのないロジスティック分布において、位置パラメータをスコア法で計算する際の更新式を書く。

ロジスティック分布

ここでは、ロジスティック分布に関わる各種関数を列挙する。

確率密度

$\displaystyle f ( x | \theta ) = \frac{ \exp (x - \theta )}{ ( 1+ \exp (x- \theta) ) ^{2} }$

対数尤度

$\displaystyle l _{n} ( \theta ) = \sum (X _{i} - \theta ) - 2 \sum \log ( 1+ \exp ( X _{i} - \theta ))$

対数尤度の一階微分

$\displaystyle \frac{ \partial }{ \partial \theta } l _{n} ( \theta ) = -n + 2 \sum \frac{ \exp ( X _{i} - \theta ) }{ 1+ \exp ( X _{i} - \theta ) }$

対数尤度の2階微分

$\displaystyle \frac{ \partial ^{2} }{ \partial \theta ^{2} } l _{n} ( \theta ) = - 2 \sum \frac{ \exp ( X _{i} - \theta ) }{ ( 1+ \exp ( X _{i} - \theta ) ) ^{2} }$

フィッシャー情報量

$\displaystyle \mathscr{I} ( \theta ) = \int \frac{ \partial ^{2} }{ \partial \theta ^{2} } l ( \theta ) d Fx$

$\displaystyle =2 \int \frac{ \exp ( x - \theta ) ^{2} }{ ( 1+ \exp ( x - \theta ) ) ^{4} } d Fx$

いい感じに置換すると

$\displaystyle = 2 \int _{0}^{ \infty} \frac{ u }{ ( 1+ u ) ^{4} } du$

$\displaystyle = 2 \left[ - \frac{u }{3 (1+u) ^{3}} \right] _{0} ^{ \infty} + 2 \int _{0}^{ \infty} \frac{ 1 }{ 3 ( 1+ u ) ^{3} } du$

$\displaystyle = 2 \left[ - \frac{1 }{6 (1+u) ^{2}} \right] _{0} ^{ \infty} = \frac{1}{3}$

定数になった。

位置母数分布族(scale parameter family)とか言うものがあるらしく、そういった分布の位置母数のフィッシャー情報量は定数になるらしい。

例えば正規分布も位置母数分布族の一つらしい。

スコア法で位置母数の更新式

スコア法での更新式は次の通り

$\displaystyle \hat{ \theta} ^{(k+1)} = \hat{ \theta} ^{(k)} + \frac{1}{ n } \mathscr{I} ( \hat{ \theta ^{(k)} } ) \frac{ \partial ^{2} }{ \partial \theta ^{2} } l _{n} ( \theta ^{(k)} )$

以上のことから、ロジスティック分布の位置母数の更新式は次で与えられる。

$\displaystyle \hat{ \theta } ^{(k+1)} = \hat{ \theta } ^{(k)} + 3 \left( 1- \frac{2}{n} \sum \frac{ 1 }{ ( 1+ \exp ( X _{i} - \hat{ \theta } ^{(k)} ) ) ^{2} } \right)$