理論関連事項

統計学の基本事項,確率分布の詳細,各種データ解析法の理論的背景について.

カイ二乗検定 (chi-squared test) とは帰無仮説が正しい場合において,対象となる検定統計量がカイ二乗分布に従う検定法全般のことである.ただし,一般にカイ二乗検定といえば,ピアソンのカイ二乗検定 (Pearson chi-squared test) を指す場合が多い.ピアソンのカイ二乗検定は,カテゴリカルデータに対して用いられ,観測または実験の結果として得られたデータの理論値に対する相違,または,データ間における相違が偶然に得られたものかどうか,すなわち,観測された事象の頻度が特定の確率分布に従うかどうかを推定する検定法である.本手法は,観測または実験から得られた頻度分布に対する検定法であるが,その頻度分布に対しては特別な分布を仮定しておらず,代表的なノンパラメトリックな検定のひとつといえる.本検定法はさらに,適合度検定 (test of goodness of fit) と独立性検定 (test of independence) のふたつに細分化される.どちらの場合においても,観測度数を O,期待度数を E として,以下で与えられる統計量Tを算出し,この統計量がカイ二乗分布に従うことを利用する.

\begin{eqnarray*}T=\sum\frac{(O-E)^2}{E}\tag{1}\end{eqnarray*}

適合度検定

適合度検定は,観測された頻度分布が仮定する理論分布と一致するかどうかを評価する方法である.何らかの観測または実験の結果,ある属性Aについて以下のようなサイズkからなる観測度数が得られたとする.

A1A2...Ak
観測度数f1f2...fkN

これに対して,以下のような理論確率を有する頻度分布との相違を評価したい場合,手順は以下のようになる.この場合の帰無仮説 (H0) は,観測された頻度分布と期待される頻度分布に差はない (適合している) である.

A1A2...Ak
理論確率p1p2...pk1

最初に,観測度数の合計Nと理論確率から以下の期待度数を求める.この値が上式のEに相当する.

A1A2...Ak
期待度数Np1Np2...NpkN

次に,以上の値を用いて以下の統計量Tを計算する.この値は,観測度数と期待度数の値が近いほど0に近づく値である.

\begin{eqnarray*}T&=&\sum\frac{(O-E)^2}{E}\\&=&\sum_{i=1}^{k}\frac{(f_i-Np_i)^2}{Np_i}\tag{2}\end{eqnarray*}

以上で求めたTはNの値が大きい場合において,近似的に自由度 k-1 のカイ二乗分布,すなわち,χ2(k-1) に従うことが知られている.そこで,このTが自由度 k-1 のカイ二乗分布においてあらかじめ設定した棄却域に入るか否かを考える.もし帰無仮説が棄却されたら,対立仮説を採用し,観測度数の従う分布は理論分布に適合しているとはいえないと結論する.

独立性検定

独立性検定は,分割表 (クロス集計表) であらわされる,それぞれが2つ以上のカテゴリーからなる2変数が互いに独立であるかどうか,または,観測された2つ以上の分類が互いに無関係であるかどうかを評価する検定手法である.何らかの観測または実験の結果,以下のようなカテゴリーのサイズがそれぞれrおよびcからなる変数AおよびBによって構成される以下のような分割表が得られたとする.この変数AおよびBが互いに独立か否かを評価するには以下のような手順に従う.ここで,帰無仮説 (H0) は,2変数間に独立性が成り立つこと,すなわち,2要因の比率に差がない,または,2要因が互いに無関係であることとなる.

B1B2...Bc
A1f11f12...f1cf1・
A1f21f22...f2cf2・
fij
Arfr1fr2...frcfr・
f・1f・2...f・cN

ここで,N は以下であらわされる関係を満たす.

\begin{eqnarray*}N&=&f_{1\cdot}+f_{2\cdot}+\cdots+f_{r\cdot}\\&=&f_{\cdot1}+f_{\cdot2}+\cdots+f_{\cdot c}\tag{3}\end{eqnarray*}

最初に,適合度検定の場合と同じように各観測度数に対応する期待度数を計算する.期待度数は以下のようにあらわされる.

B1B2...Bk
A1f1・f・1/Nf1・f・2/N...f1・f・c/Nf1・
A1f2・f・1/Nf2・f・2/N...f2・f・c/Nf2・
fi・f・j/N
Arfr・f・1/Nfr・f・2/N...fr・f・c/Nfr・
f・1f・2...f・cN

次に,以上の値を用いて以下の統計量Tを計算する.

\begin{eqnarray*}T&=&\sum\frac{(O-E)^2}{E}\\&=&\sum_{i=1}^{r}\sum_{j=1}^{c}\frac{(O_{ij}-E_{ij})^2}{E_{ij}}\\&=&\sum_{i=1}^{r}\sum_{j=1}^{c}\frac{(f_{ij}-f_{i\cdot}f_{\cdot j}/N)^2}{f_{i\cdot}f_{\cdot j}/N}\\&=&\sum_{i=1}^{r}\sum_{j=1}^{c}\frac{(Nf_{ij}-f_{i\cdot}f_{\cdot j})^2}{Nf_{i\cdot}f_{\cdot j}}\tag{4}\end{eqnarray*}

最後に,このように求めた統計量Tは N の値が大きい場合において,近似的に自由度 (r-1)(c-1) のカイ二乗分布,すなわち,χ2((r-1)(c-1)) に従うことが知られている.そこで,この T が自由度 (r-1)(c-1) のカイ二乗分布においてあらかじめ設定した棄却域に入るか否かを考える.もし帰無仮説が棄却されたら,対立仮説を採用し,対象の2変数間に何らかの関係性がないとはいえないと結論する.以上が独立性検定であるが,分割表のセルの期待値に10未満のものがある場合は,本検定法を用いるよりフィッシャーの直接確率検定を用いるほうが良いとされる.

Hatena Google+