ここにまとめる。

3

$\sum　_{i} \log (1+x _{i})$ が十分統計量であることを示す。 $\displaystyle \prod f(x_{i} | \theta )= \theta ^{n} \prod (1+x _{i}) ^{-(\theta +1)} = \theta ^{n} \exp \left( -(\theta +1) \sum　_{i} \log (1+x _{i}) \right)$

これで大丈夫だと思う。 Tの平均と分散を求める。Xiは独立なので多分こんな感じでいける。最初は平均。

部分積分するだけ。 $\displaystyle \int _{S} \log (1+x ) \theta (1+x) ^{-(\theta+1)}dx = \left[- \log (1+x ) (1+x) ^{-\theta} \right]^{ \infty}_{0} + \int _{S} \frac{(1+x) ^{-\theta}}{1+x}$

$\displaystyle= \left[ -\frac{1}{\theta} (1+x) ^{-(\theta+1)} \right]^{ \infty}_{0} = \frac{1}{\theta}$ n倍したものが答え。

次が分散。独立っぽいから次を求める。計算は平均のときと同様でよい。

$\displaystyle \int _{S} \left\{ \log (1+x ) \right\}^{2} \theta (1+x) ^{-(\theta+1)}dx$

$\displaystyle = \left[- \left\{ \log (1+x ) \right\}^{2} (1+x) ^{-\theta} \right]^{ \infty}_{0} + \int _{S} 2 \log (1+x) \frac{(1+x) ^{-\theta}}{1+x} dx$

第1項は消える。第二項もまとめると

$\displaystyle = \int _{S} 2 \log (1+x) (1+x) ^{-\theta+1}dx = \frac{2}{\theta} E (\log (1+x ))= \frac{2}{\theta ^{2}}$

なので、分散は

$\displaystyle \frac{2}{\theta ^{2}} - \left( \frac{1}{\theta} \right) ^{2}=\frac{1}{\theta ^{2}}$

これをn倍したものが答え。

5

ここの「多項分布のMLEの求め方」の通り。

ben-key.hatenablog.com

6

指数型分布族のpdfあるいはpmfは $\displaystyle f(x | \eta) = h(x)c(\eta) \exp \left( \sum _{i=1}^{k} \eta _{i} t_{i} (x) \right)$

6-a関係式を示す

$\displaystyle \frac{\partial}{\partial \eta _{i}} \log c(\eta) = -\frac{1}{ c(\eta)} \left( \frac{\partial}{\partial \eta _{i}} c(\eta) \right)$

cは次のような正規化定数

$\displaystyle \frac{1}{c(\eta)} = \int h(x) \exp \left( \sum _{i=1}^{k} \eta _{i} t_{i} (x) \right) d \mu$

これを偏微分の方だけに突っ込んで整理する。

$\displaystyle -\frac{1}{ c(\eta)} \left( \frac{\partial}{\partial \eta _{i}} c(\eta) \right) = \frac{1}{c(\eta) }\frac{t_{i} \int h(x) \exp \left( \sum _{i=1}^{k} \eta _{i} t_{i} (x) \right) d \mu }{\left( \int h(x) \exp \left( \sum _{i=1}^{k} \eta _{i} t_{i} (x) \right) d \mu \right)^{2}}$

$\displaystyle = \frac{1}{c(\eta) } c(\eta) ^{2} t_{i} \int h(x) \exp \left( \sum _{i=1}^{k} \eta _{i} t_{i} (x) \right) d \mu$

$\displaystyle =\int h(x) c (\eta) t_{i} \exp \left( \sum _{i=1}^{k} \eta _{i} t_{i} (x) \right) d \mu = E(t _{i})$

シグマの中の添字をiのままにしてしまった。ごめんなさい。

6-b最尤推定量

対数尤度がこんな感じになる。

$\displaystyle l = \prod \log f = \sum \log h(x) + n \log c(\eta) + \sum_{i}^{k} \eta _{i=1} \sum_{j=1}^{n} t_{i} (x) _{j}$

シグマの部分は深呼吸して書けば変形できる。

最尤推定量は対数尤度を微分して0とおけばよい。

$\displaystyle \frac{\partial}{\partial \eta _{i}}l= n \frac{\partial}{\partial \eta _{i}} \log c(\eta) + \sum _{j=1}^{n} t _{i}(x _{j})=0$

ちょっと変形すれば

$\displaystyle \frac{\partial}{\partial \eta _{i}} \log c(\eta) = - \frac{1}{n} \sum _{j=1}^{n} t _{i}(x _{j})$

6-cモーメント推定量

そもそも最初に求めてある関係式から

$\displaystyle E(t _{i})=- \frac{\partial}{\partial \eta _{i}} \log c(\eta)$

でも $\displaystyle E(t _{i})= \frac{1}{n} \sum _{j=1}^{n} t _{i}(x _{j})$ になる。

てことは、モーメント推定量と最尤推定量は同じですよね。

7

7-1

気になるところだけ取って掛け算

$\displaystyle p^{x}(1-p)^{n-x} p^{\alpha -1}(1-p)^{\beta-1} = p^{\alpha + x -1}(1-p)^{\beta + n - x -1}$

正規化項ないだけで、これって $\displaystyle Beta (\alpha + x, \beta + n - x)$ てことですね。

手元の書籍は2刷なんだけど、ここ誤植ですよね。

7-2

前問から、事後分布は $\displaystyle Beta (\alpha + x, \beta + n - x)$

なので期待値は

$\displaystyle \frac{\alpha + x}{\alpha + x+ \beta + n - x} =\frac{\alpha + x}{\alpha + \beta + n }$

項分けてnとかα＋βで割ったり書けたりすればOK。

しかしなんでこんな変形なの？と思うけど、事前分布の影響＋Xの確率分布による影響と分離している感じだと強引に解釈した。

8

8-1

$\displaystyle \frac{(n \lambda)^{t} \lambda ^{\alpha-1}}{\beta ^{\alpha}} \exp (-n \lambda) \exp(- \frac{\lambda}{\beta}) \propto \lambda ^{t+\alpha -1} \exp(- \frac{1+ n \beta}{\beta}\lambda)$

なので、事後分布は $\displaystyle Ga ( t+ \alpha , \frac{\beta}{1+n \beta} )$

8-2

前問で事後分布はわかっている。

平均は $\displaystyle \frac{\beta (t + \alpha)}{1+n \beta}$

分散 $\displaystyle \frac{\beta ^{2} (t + \alpha)}{(1+n \beta ) ^{2}}$

9

余裕だと思って暗算チャレンジしたら詰まった。悔しい

9-1

期待値とると、θΣai=θとなるので、Σai=1ならよいことがわかる。

（ai非負の条件って不要なんだっけ？）

9-2

上の条件のもと、分散を最小にするものを考える。

$\displaystyle \sum a_{i}^2 \sigma ^{2} _{i}$ を $\displaystyle \sum a_{i}=1$ のもとで最小化しろという問題。

適当にラグランジュ乗数おいて微分する。

多分ラグランジュ乗数が $\displaystyle \frac{2}{\sum \frac{1}{\sigma ^{2}_{i}}}$ になるはず。

なんか分散上手く計算できないけど、直感的には多分 $\displaystyle \frac{1}{\sum \frac{1}{\sigma ^{2}_{i}}}$

11

$\displaystyle X \sim Bin(n,p)$ とする。

11-1

$\displaystyle$

$\displaystyle \theta = p(1-p)$ とするとき、不偏推定量 $\displaystyle s ^{u}$ と最尤推定量 $\displaystyle s ^{ml}$ を求める。

まず、 $\displaystyle E( \frac{X(X-1)}{n(n-1)})=p ^{2}$ である。（二項分布の分散求める時に計算しているはずだから、既知とする）

なので、 $\displaystyle E( \frac{X}{n} - \frac{X(X-1)}{n(n-1)})=p(1-p)$ となる。

よって $\displaystyle s ^{u} = \frac{X}{n} - \frac{X(X-1)}{n(n-1)} = \frac{X(n-X)}{n(n-1)}$

最尤推定量の方は、最尤推定量の法則から

$\displaystyle s ^{ml}= \frac{X}{n}\frac{n-X}{n} =\frac{X(n-X)}{n ^{2}}$

11-2

デルタ法で計算する。

最尤推定量については g(p)=p(1-p)の微分を二乗してかければ良い

$\displaystyle 　\sqrt{n} (s ^{u} -\theta ) \to N (0, p(1-p)(1-2p)^{2})$

不偏推定量については、次のように変形する。

$\displaystyle 　\sqrt{n} (s ^{u} -\theta ) = \sqrt{n} (s ^{ml} -\theta ) + \frac{\sqrt{n}}{n-1} s ^{ml}$

一項目は最尤推定量のそれと同じ。二項目は０に確率収束する。なので不偏推定量と最尤推定量の漸近分布が一致する。

14

13の問題設定を引継ぎ、標準偏差 $\sqrt{\theta}$ を推定する問題。

14-1

$\displaystyle E(|X _{i}|) = \int _{ - \infty} ^{ \infty} \frac{ |x| }{ \sqrt{ 2 \pi \theta}} \exp \left( - \frac{ x ^{2} }{2 \theta} \right) dx$

x>0で分けて変形する

$\displaystyle = \int _{ 0} ^{ \infty} \frac{ x }{ \sqrt{ 2 \pi \theta}} \exp \left( - \frac{ x ^{2} }{2 \theta} \right) dx$

普通に積分できる

$\displaystyle = \sqrt{\frac{2}{\pi \theta}} \left[ - \theta \exp \left( - \frac{ x ^{2} }{2 \theta} \right) \right] _{ 0} ^{ \infty} = \sqrt{\frac{2 \theta}{\pi }}$

14-2

$\sum E(|X_{i}|) = n \sqrt{\frac{2 \theta}{\pi }}$ より、 $E \left( \sqrt{\frac{\pi }{2n^{2}}} \sum |X_{i}| \right) = \sqrt{\theta}$ とできる。

$\displaystyle V \left( \sqrt{\frac{\pi }{2}} |X_{i}| \right) = ( \frac{\pi}{2} -1 ) \theta$ なので $Y _{i}=\sqrt{\frac{\pi }{2}} |X_{i}|$ としたら $E(Y)= \sqrt{\theta}$ $V(Y)= ( \frac{\pi}{2} -1 ) \theta$