べんきのにっき

いろいろと垂れ流します。

平均と分散は独立

ポエム

導入

標本平均と標本分散が独立であるから、t分布による母平均の検定ができる。

統計の教科書を見ると、大抵helmert行列を使った証明が載っているはず。

ところで適当な標本 \displaystyle x \in \mathbb{R}^{n}について標本平均 \displaystyle \bar{x}はなんかいい感じの射影行列で表せる。

従って \displaystyle x \sim N(\mu ,\sigma^{2}I)なら、計画行列 \displaystyle X=1_{n}による回帰モデル \displaystyle y=X\mu +\epsilonと見ることができる。

ということは、重回帰の回帰係数と残差分散も独立になることは、同様に証明できそう。でも、ちょっと面倒臭そう。そんな話。

借りる性質

結論を言うと、以下の一次変換と二次形式に関する性質（定理?）を使えばよい。

\displaystyle x \sim N(\mu ,\sigma^{2}I)とし、r×nの行列Bとn×nの対称行列Aがあるとする。

このとき、 \displaystyle BA=0 \Rightarrow Bx \perp x'Axが成立する

さて、これを使えば簡単な計算により、冒頭の「回帰係数と残差分散が独立」は示せる。

が、それ自体には興味がない。

ここでは、この性質がどう示されるかを確かめることにする。

性質が正しいことを確かめる。

証明は、蓑谷『線形回帰分析』から。元々行間は少なく読みやすいが、これの行間をさらに埋める形で。

準備

まず、Aは対称なので直交行列 \displaystyle Pで対角化でき、 \displaystyle A=PDP'と分解できる。

\displaystyle y=P'xと変換すると、Pが直交行列であることと多変量正規分布の変換の性質から \displaystyle y=P'x \sim N(P'\mu ,\sigma^{2}I)となる。

ここで、 \displaystyle C=BPとおく。 さらに、Dの対角要素を非ゼロ固有値の D_{1}と0に分けて、以下のようにブロック行列として書き直す。

\boldsymbol{D} = \begin{pmatrix} D _{1} & 0 \\ 0 & 0 \\ \end{pmatrix}

ここから証明

\displaystyle BA=0であるから、これに右から \displaystyle Pを掛けても0、つまり \displaystyle BAP=(BA)P=0である。

ここで \displaystyle Pが直交行列であることと \displaystyle Aが対角化できることから、以下となる。

\displaystyle BAP=BIAP=BPP'AP=CD (=0)

さらに、 \displaystyle Dをブロック行列で見なおす。 \displaystyle Dの階数(=dとおく)に合わせて \displaystyle Cもブロック行列に書き直すと以下になる*1。

\boldsymbol{CD} = \begin{pmatrix} C _{11} & C _{12} \\ C _{21} & C _{22} \\ \end{pmatrix} \begin{pmatrix} D _{1} & 0 \\ 0 & 0 \\ \end{pmatrix} = \begin{pmatrix} 0 & 0 \\ 0 & 0 \\ \end{pmatrix}

0ってことは、 \displaystyle C_{11}D_{1}=0かつ \displaystyle C_{21}D_{1}=0になっている。

つまりCの先頭d列は0であり、 \displaystyle C=(0,C_{2})と表せる。 ここで、

\displaystyle Bx=BIx=BPP'x=(BP)(P'x)=Cy=(0,C_{2})y

\displaystyle x'Ax=x'IAIx=x'PP'APP'x=(x'P)(P'AP)(P'x) =y' \begin{pmatrix} D _{1} & 0 \\ 0 & 0 \\ \end{pmatrix} y

よく見ると、 \displaystyle Bxはyのd+1以降の要素のみからなり、他方 \displaystyle x'Axはyの先頭d個の要素からなる。 従ってyは要素ごとに独立かつ、用いている要素もそれぞれで異なる。従って独立になる

*1:ここはもう少し条件をつけるのが正確だと思う。今回の文脈なら、列フルランクの計画行列Xと、そこから作った射影行列を使うので、CとDの分解のところでDのランクがCの行数を超えることはなく、安心して変形できる。