べんきのにっき

いろいろと垂れ流します。

一様分布で最尤法

担当分

概要

\Theta \left[ 1,2 \right] で \theta \in \Thetaな \thetaをパラメータに持つ X \in \mathscr{U}(0, \theta)について考える。 このとき、最尤推定量 \hat{ \theta} _{n}が真値 \theta _{0}に対して強一致性をもつかどうかを確かめる

密度関数は以下。

\displaystyle f(x| \theta) = \frac{1}{\theta}

条件1： \Theta はコンパクト

\Theta \left[ 1,2 \right] なので大丈夫そう

条件2： f(x | \theta)は上半連続

x \leq 0や 2 \gt xは台から外れているので考えなくてよさそう。

x \leq 1のとき

\displaystyle f(x | \theta) = \frac{1}{\theta}

連続な関数なのでだいじょうぶ

1 \leq x \leq \theta ( \leq 2 )のとき

\displaystyle f(x | \theta) = \frac{1}{\theta}

( 1 \leq ) \theta \lt x \leq 2のとき

\displaystyle f(x | \theta) = 0

xが \thetaをまたぐあたりで上半連続ぽいのでだいじょうぶ

条件3： K(x)の存在

対数尤度比が K(x)で抑えられて、期待値が発散しなければいいらしい。 ただし、期待値は \theta _{0}のもとで考えることに注意する。つまりこんなK(x)。

\displaystyle \int _{ 0} ^{ \theta _{0}} f(x | \theta _{0}) dx \lt \infty

全ての xと \theta \in \Thetaにおいて次が成立すればよい。

\displaystyle U(x , \theta ) = \log f(x | \theta) - \log f(x | \theta _{0}) \leq K(x)

logが邪魔なので、適当に変形する。

\displaystyle L = \frac{ \log f(x | \theta)}{ f(x | \theta _{0}) } \leq \exp K(x)

こんな \exp K(x)があればよい。 それぞれの場合についてLを抑え込めるかどうか考える。

x \leq 1のとき

\displaystyle L= \frac{ \frac{1}{ \theta}}{ \frac{1}{ \theta _{0} } } = \frac{ \theta _{0}}{ \theta } \leq \theta _{0} ( \because \theta \geq1 )

1 \leq x \leq \theta ( \leq 2 )のとき

\displaystyle L = \frac{ \theta _{0}}{ \theta } \leq \frac{ \theta _{0} }{x} ( \because x \leq \theta )

( 1 \leq ) \theta \lt x \leq 2のとき

\displaystyle L = \frac{ \theta _{0}}{ \theta } \leq \frac{ \theta _{0} }{0} = \infty

以上のことから、こういう感じにすれば抑えられる

$$ \exp K(x) = \left\{ \begin{array}{} \theta _{0} & ( x \leq 1) \\ \frac{ \theta _{0}}{x} & ( 1 \leq x \lt \theta _{0} ) \\ \infty & ( \theta _{0} \lt x) \end{array} \right. $$

\inftyになっとるやんけと思ったが、K(x)を積分する範囲を考えると、これは特に意味がないことがわかる。

ものすごく身も蓋もない感じがするが、K(x)=100万とかでっかい定数を適当にとってくればバウンドできる気がした。 猛烈に強引な方法だけど・・・

条件4：可測

全ての \theta \in \Theta において、十分に小さな \rho \gt 0 に対して、次がxについて可測であればよい。

\displaystyle \sup _{ | \theta ' - \theta| \lt \rho} f(x | \theta ')

\displaystyle \varphi ( x, \theta , \rho )=\sup _{ | \theta ' - \theta| \lt \rho} f(x | \theta ')とおく。

$$ \displaystyle \varphi ( x, \theta , \rho ) = \left\{ \begin{array}{} \displaystyle \frac{1}{ \theta - \rho } & ( x \leq \theta - \rho) \\ \displaystyle \frac{ 1}{x} & ( |x -\theta | \leq \rho ) \\ \displaystyle 0 & ( x \gt \theta + \rho) \end{array} \right. $$

可測っぽい

条件5：識別可能性

\theta によって、分布の密度関数や台が一意に決まると考えると、識別可能性を満たすと考えられる。