どこかに似たような記事があるが、気にしないことにする。 仮に似てたとして、その記事を書いたのは私なので、何らパクリではない。
導入
とある勉強会で、estimatorが持って欲しい性質として、"unbiasedness"と"varianceが小"が挙げられていた。
で、"varianceが小"というのは文脈的にconsistencyを指しているようだった。
今回はこれに着目し、consistencyを分散と言う言葉で表現する(or理解)ことについて、そのjustificationを考えてみよう。
答えだけ先に書いておくと、「consistencyを推定量の分散が0になる性質と理解するのは厳密には正しくない*1。 ただし、大抵の場合、別にその理解で全く問題ない 」である。
なお、本記事の目的は、発表者への文句ではなく、一般的な方便の重箱をつついて、方便が意味するところを再確認するものである。
consistencyとは
一致性あるいは測度収束のこと。
具体的には推定量が真値の近傍をはみ出す確率の極限が0になること。
詳しくは普通の統計の教科書を参考。
consistencyが成立することを確認する方法
いくつかの候補がある。
- 方法1:定義から確認する
- 方法2チェビシェフの不等式から確認する
- 方法3:別の方法を経由して確認する
今回確認すること
「consistencyは推定量の分散が0になる性質」という方便を、上記の方法で確認する。
その結果、方便が実はちょっと怪しく、一部の反例が存在すること。
確認に使用する例
wikipediaより引用
これは、となるからbiased。だけどconsistentという少し変な性質を持っている。
上述の方法を用いてconsistencyを持つことを確認しよう。
方法1で確認する
それなりのを考えると、真値をはみ出る確率はとなる。
ということは、nを飛ばすと0になる。
だから、consistencyを持つことになる。
方法2で確認する
チェビシェフの不等式を適用するためには、の平均と分散が必要になる。*2
というわけで平均と分散を計算しよう。
さて、nの極限を考えると、 は有限の分散を持たない ことがわかった。
チェビシェフの不等式は、有限の分散を持つ場合にしか適用できないので、方法2ではconsistencyを確認できない。残念。
というか、この時点で「一致性を持つのに分散が無限になる」ことが判明した。さて、困った。
方法3で確認する
別の方法の例として、ここでは確率収束より厳しい条件であるL2収束と同値な条件を経由する方法を用いる。
最初に、次の二つの条件を考える。
- 条件1:がasymptotic unbiasedかつ、収束先が定数
- 条件2:のasymptoticに0
上記の2条件が成立する時、はL2の意味で収束する。 また、「L2収束するなら確率収束する」という性質を用いると、「条件1と条件2が成立する時、は収束先の定数に確率収束する」ことがわかる。
しかし、残念ながら漸近分散が0にならないので、やはりこの方法でもconsistencyは確認できない。
確認結果から言えること
は分散0にならない(無限大になる)のに、consistencyを満たすことがわかった。
つまり、consistency(確率収束)と推定量の分散が0になることは同値ではない 。
その意味で最初に述べた方便は正しくない。
ただし、方法3は方便とかなり近いことを述べていて、「consistencyとは、推定量の分散が小さくなること」が実は結構正しいことも同時にわかる。 しかしこの時、asymptotically unbiasedを合わせて述べておくのがベターである。 (退化するような場合、consistencyを"漸近不偏"と"漸近分散が0"と表現することに間違いがない、の意味)
結局何が言いたいんですか?
ぶっちゃけ、推定量の分散が小さくなって、かつ漸近不偏かつ定数ならconsistencyと言っていいと思う。
あと、wikipediaの例は確かに成立してるんだけど、practicalに実在しそうな例にして欲しい。 もちろん、実務家のためのwebサイトではないので、お門違いな意見であることは百も承知である。