べんきのにっき

いろいろと垂れ流します。

consistent estimatorを分散から確認することの是非

どこかに似たような記事があるが、気にしないことにする。 仮に似てたとして、その記事を書いたのは私なので、何らパクリではない。

導入

とある勉強会で、estimatorが持って欲しい性質として、"unbiasedness"と"varianceが小"が挙げられていた。

で、"varianceが小"というのは文脈的にconsistencyを指しているようだった。

今回はこれに着目し、consistencyを分散と言う言葉で表現する(or理解)ことについて、そのjustificationを考えてみよう。

答えだけ先に書いておくと、「consistencyを推定量の分散が0になる性質と理解するのは厳密には正しくない*1ただし、大抵の場合、別にその理解で全く問題ない 」である。

なお、本記事の目的は、発表者への文句ではなく、一般的な方便の重箱をつついて、方便が意味するところを再確認するものである。

consistencyとは

一致性あるいは測度収束のこと。

具体的には推定量が真値の \displaystyle \varepsilon近傍をはみ出す確率の極限が0になること。

詳しくは普通の統計の教科書を参考。

consistencyが成立することを確認する方法

いくつかの候補がある。

  • 方法1:定義から確認する
  • 方法2チェビシェフの不等式から確認する
  • 方法3:別の方法を経由して確認する

今回確認すること

「consistencyは推定量の分散が0になる性質」という方便を、上記の方法で確認する。

その結果、方便が実はちょっと怪しく、一部の反例が存在すること。

確認に使用する例

wikipediaより引用

https://wikimedia.org/api/rest_v1/media/math/render/svg/e585632f24f322d896520f5b8756450f16d7105f

これは、 \displaystyle E(T_{n})=\theta + \delta となるからbiased。だけどconsistentという少し変な性質を持っている。

上述の方法を用いてconsistencyを持つことを確認しよう。

方法1で確認する

それなりの \displaystyle \deltaを考えると、真値 \displaystyle \thetaをはみ出る確率は \displaystyle Pr(|T_{n}-\theta | > \varepsilon) = \frac{1}{n}となる。

ということは、nを飛ばすと0になる。

だから、consistencyを持つことになる。

方法2で確認する

チェビシェフの不等式を適用するためには、 \displaystyle T_{n}の平均と分散が必要になる。*2

というわけで平均と分散を計算しよう。

 \displaystyle E(T_{n}) = \left( 1- \frac{1}{n} \right) \theta + \left(  \frac{1}{n} \right) ( n\delta + \theta) =\theta + \delta

 \displaystyle V(T_{n}) = \left( 1- \frac{1}{n} \right) (- \delta) ^{2} + \left(  \frac{1}{n} \right) (  n \delta - \delta )^{2} = \left( 1- \frac{1}{n} \right) \delta ^{2} + \frac{(n-1) ^2 \delta  ^2 }{n}

さて、nの極限を考えると、  T_{n}は有限の分散を持たない ことがわかった。

チェビシェフの不等式は、有限の分散を持つ場合にしか適用できないので、方法2ではconsistencyを確認できない。残念。

というか、この時点で「一致性を持つのに分散が無限になる」ことが判明した。さて、困った。

方法3で確認する

別の方法の例として、ここでは確率収束より厳しい条件であるL2収束と同値な条件を経由する方法を用いる。

最初に、次の二つの条件を考える。

  • 条件1: \displaystyle E(T_{n})がasymptotic unbiasedかつ、収束先が定数
  • 条件2: \displaystyle V(T_{n})のasymptoticに0

上記の2条件が成立する時、 \displaystyle T_{n}はL2の意味で収束する。 また、「L2収束するなら確率収束する」という性質を用いると、「条件1と条件2が成立する時、 \displaystyle T_{n}は収束先の定数に確率収束する」ことがわかる。

しかし、残念ながら漸近分散が0にならないので、やはりこの方法でもconsistencyは確認できない。

確認結果から言えること

 \displaystyle T_{n}は分散0にならない(無限大になる)のに、consistencyを満たすことがわかった。

つまり、consistency(確率収束)と推定量の分散が0になることは同値ではない

その意味で最初に述べた方便は正しくない。

ただし、方法3は方便とかなり近いことを述べていて、「consistencyとは、推定量の分散が小さくなること」が実は結構正しいことも同時にわかる。 しかしこの時、asymptotically unbiasedを合わせて述べておくのがベターである。 (退化するような場合、consistencyを"漸近不偏"と"漸近分散が0"と表現することに間違いがない、の意味)

結局何が言いたいんですか?

ぶっちゃけ、推定量の分散が小さくなって、かつ漸近不偏かつ定数ならconsistencyと言っていいと思う。

あと、wikipediaの例は確かに成立してるんだけど、practicalに実在しそうな例にして欲しい。 もちろん、実務家のためのwebサイトではないので、お門違いな意見であることは百も承知である。

*1:条件が足りない

*2:そもそも論として、これは平均周りの評価をする不等式であって、今回評価したいθの近傍を評価してない。その時点で「それで何がしたいの?」くらいに思う。