べんきのにっき

いろいろと垂れ流します。

潜在反応を交換する練習

概要

よく忘れる内容の復習。どうしても覚えられない。

無視できそうな感じの独立性まで

条件付き分布が存在するかとかラドン=ニコディム微分がとかそう言うのではなく、ただ式変形の意味での復習

なお、causal inference bookとの整合的には次に注意

  • 大文字と小文字は区別は面倒なので使い分けない(分けないと困る場合のみ使い分けようと思うがこの記事ではその必要はなかった)
  • 割付はAであるがこの記事ではzを用いている

復習1:条件付き独立の定義

条件付き独立 \displaystyle x \perp y |zはこう書けること

 \displaystyle p(x,y|z)=p(x|z)p(y|z)

左辺を同時分布にして戻すとこうなる

 \displaystyle p(x,y,z)=p(x|z)p(y|z)p(z)

復習2:交換可能性の定義

交換可能(exchangeable) \displaystyle (y^{1},y^{0}) \perp z|xはこう書けること

\tag{1} \displaystyle p(y^{1},y^{0},z|x)=p(y^{1},y^{0}|x)p(z|x)

勝手に()で括られて一瞬「?」となるけど、xで条件づけると \displaystyle (y^{1},y^{0})の同時分布とzが独立になっている、というのがポイント。

で、(1)の左辺を同時分布に戻すとこうなる。(p(x)を両辺にかけてある)

 \tag{2} \displaystyle p(y^{1},y^{0},z,x)=p(y^{1},y^{0}|x)p(z|x)p(x)

復習3:交換可能性から期待値を計算する

同時分布については、 交換可能性には関係なく 、単純に次のように変形できる

 \tag{3} \displaystyle p(y^{1},y^{0},z,x)=\frac{p(y^{1},y^{0},z,x)}{p(y^{1},y^{0},x)}\frac{p(y^{1},y^{0},x)}{p(x)}p(x)=p(z|y^{1},y^{0},x)p(y^{1},y^{0}|x)p(x)

(2)と(3)は同時分布p(y^{1},y^{0},z,x)を別の書き方で表したものに過ぎない。

つまり「(2)の右辺=(3)の右辺」になる。でもよく見ると同じ項が多いので

 \require{cancel}
\displaystyle p(z|y^{1},y^{0},x)\cancel{p(y^{1},y^{0}|x)}\cancel{p(x)}=\cancel{p(y^{1},y^{0}|x)}p(z|x)\cancel{p(x)}

結局こうなる

\tag{4} p(z|y^{1},y^{0},x)=p(z|x)

でも、この左辺は次のように変形できる

$$ \begin{align} \displaystyle p(z|y^{1},y^{0},x) & =\frac{p(y^{1},y^{0},z,x)}{p(y^{1},y^{0},x)}\frac{p(z,x)}{p(z,x)}\frac{p(x)}{p(x)}\\ \displaystyle & =\frac{p(y^{1},y^{0},z,x)}{p(z,x)}\frac{p(x)}{p(y^{1},y^{0},x)}\frac{p(z,x)}{p(x)}\\ \displaystyle & =p(y^{1},y^{0}|z,x)\frac{1}{p(y^{1},y^{0}|x)}p(z|x) \end{align} $$

最初の=は条件付き確率を戻したのと、1になるp()を追加している。 次の=は順番を入れ替えただけ、最後は条件付き確率に戻した。

これは(4)の左辺をただ変形したもので、p(z|x)に等しい。
結果として、次が成立する。

\tag{5} p(y^{1},y^{0}|z,x)=p(y^{1},y^{0}|x)

なので、たとえばy^{0}を周辺化してからy^{1}の期待値を計算すれば、次のようになる。

E(y^{1}|z,x)=E(y^{1}|x)

 y^{0}についても同様 E(y^{0}|z,x)=E(y^{0}|x)

これがmean的なexchangeable。