理論関連事項

統計学の基本事項,確率分布の詳細,各種データ解析法の理論的背景について.

二項分布 (binomial distribution) とは,2種類の可能な結果が生じる試行,すなわちベルヌーイ試行を独立にn回繰り返したときに,1回の試行における生起確率が p である一方の結果 (成功) がx回生じたとして,その x (成功数) が従う確率分布のことである.特に試行回数が1回のときの本分布はベルヌーイ分布 (Bernoulli distribution) とよばれる場合がある.パラメーター (母数) は試行回数nと一方の結果の生起確率pのふたつであり,二項分布は Bi(n, p) で略記される場合が多い.確率密度関数は以下で与えられる.ここで q はもう一方の結果の1回の試行における生起確率 (1-p) のことである.

\begin{eqnarray*}f(x)={}_n\mathrm{C}_xp^x(1-p)^{n-x}={}_n\mathrm{C}_xp^xq^{n-x}\tag{1}\end{eqnarray*}

二項分布は数ある確率分布の中でも特に重要な分布のひとつであるといえる.二項分布はその他いくつかの分布との関連性が高く,二項分布を基に別の分布を導くことが,また,逆に別の分布の近似から二項分布を求めることができる.例えば,超幾何分布を近似することで二項分布を導くことができ,一方で,二項分布を近似することで正規分布およびポアソン分布を導くことができる.その他にも,負の二項分布 (パスカル分布) や幾何分布との関連性も高い.

確率変数Xの範囲は以下で与えられる.ここで,nはベルヌーイ試行の試行回数である.

\begin{eqnarray*}x=0,1,\cdots,n\tag{2}\end{eqnarray*}

モーメント母関数は以下で与えられる.

\begin{eqnarray*}M_X(t)=(pe^t+q)^n\tag{3}\end{eqnarray*}

期待値は以下で与えられる値である.これは,単純にnとpの積であり,n回中に生起確率pの結果が生じる期待値としては直感的に理解し易い.

\begin{eqnarray*}E(X)=np\tag{4}\end{eqnarray*}

分散は以下の式で与えられる.

\begin{eqnarray*}V(X)=np(1-p)\tag{5}\end{eqnarray*}

モーメント母関数,期待値および分散の導出

モーメント母関数は以下のように求められる.

\begin{eqnarray*}M_X(t)&=&E(e^{tx})\\&=&\sum_{x=1}^{n}e^{tx}{}_n\mathrm{C}_xp^xq^{n-x}\\&=&\sum_{x=1}^{n}{}_n\mathrm{C}_x(pe^t)^xq^{n-x}\\&=&(pe^t+q)^n\tag{6}\end{eqnarray*}

上式において3行目から4行目の式変形には二項定理を利用する.すなわち以下の公式である.

\begin{eqnarray*}\sum_{k=0}^{n}{}_n\mathrm{C}{}_kx^ky^{n-k}=(x+y)^n\tag{7}\end{eqnarray*}

期待値および分散はモーメントを利用して求める.モーメント母関数の1階微分および2階微分は以下のようになる.

\begin{eqnarray*}M_X'(t)=npe^t(pe^t+q)^{n-1}\tag{8}\end{eqnarray*}
\begin{eqnarray*}M_X''(t)=np[pe^{2t}(n-1)(pe^t+q)^{n-2}+e^t(pe^t+q)^{n-1}]\tag{9}\end{eqnarray*}

従って,原点まわりの1次モーメントおよび2次モーメントは以下のようになる.

\begin{eqnarray*}M_X'(0)=np\tag{10}\end{eqnarray*}
\begin{eqnarray*}M_X''(0)=n(n-1)p^2+np\tag{11}\end{eqnarray*}

以上より,原点まわりの1次モーメントを用いて期待値は以下のように求まる.

\begin{eqnarray*}E(X)=M_X'(0)=np\tag{12}\end{eqnarray*}

分散は原点まわりの1次モーメントおよび2次モーメントを用いて以下のように求める.

\begin{eqnarray*}V(X)&=&E(X^2)-[E(X)]^2\\&=&M_X''(0)-[M_X'(0)]^2\\&=&n(n-1)p^2+np-n^2p^2\\&=&np(1-p)\tag{13}\end{eqnarray*}

二項分布の再生性

二項分布には再生性がある.それぞれ独立に二項分布Bi(ni, p)に従う確率変数Xi (i=1,2,...,k) の和は以下の二項分布に従う.

\begin{eqnarray*}\sum_{i=1}^{k}X_i\sim Bi\left(\sum_{i=1}^{n}n_i,p\right)\tag{14}\end{eqnarray*}

すなわち,1回の試行における生起確率pが等しいk個の独立な二項分布に従う確率変数の和は上で示される各々の試行回数の和と生起確率pをパラメーターに持つ二項分布に従う.

正規分布による近似

二項分布は正規分布によって近似することができる.近似には中心極限定理を利用する.二項分布に対する中心極限定理を特に,ドモアブル・ラプラスの定理と呼ぶことがある.中心極限定理とは,母集団の分布がどのようなものであれ,確率変数の和 X1+X2+・・・+Xn はnが大きいとき,正規分布に従うとみなして良い,という定理である.すなわち,本来の中心極限定理は何らかの分布に従う確率変数の和について適用されるべきものであるが,二項分布においては,一方の結果が生起する回数Sはそれぞれが二項分布 Bi(1, p) に従う確率変数Xi (i= 1, 2,...,n) の和 X1+X2+・・・+Xn となるため,二項分布そのものに中心極限定理が適用される.すなわち,以下のような二項分布に従う確率変数Xを考えた場合において,

\begin{eqnarray*}X\sim Bi(n,p)\tag{15}\end{eqnarray*}

試行回数nが十分に大きいとき (npおよびnpqが十分に大きいとき),確率変数Xは平均 np および分散が npq=np(1-p) の正規分布に従うとみなせる.

\begin{eqnarray*}X\sim N(np,npq)\tag{16}\end{eqnarray*}

二項分布に従う確率の計算においては,二項係数の計算が必要となる.もし,試行回数nが莫大な値であるときには二項係数の計算は大きな階乗の計算を含むため現実的に不可能となる.そのような際に,正規分布による近似が力を発揮する.

ポアソン分布による近似

また,二項分布はポアソン分布によって近似することもできる.この場合の条件は,npが十分に小さいとき,厳密には試行回数nが十分に大きく,かつ1回の試行における生起確率pが小さいときである.以下のような二項分布に従う確率変数Xを考える.

\begin{eqnarray*}X\sim Bi(n,p)\tag{17}\end{eqnarray*}

このとき,試行回数nが十分に大きく,かつ1回の試行における生起確率pが小さいとき,確率変数Xはパラメーター λ=np のポアソン分布に従うとみなせる.ここで,λは生起する結果の期待値 (期待生起回数) である.

\begin{eqnarray*}X\sim Po(\lambda)\tag{18}\end{eqnarray*}

この近似は以下のように証明できる.これをポアソンの小数の法則という.最初に,二項分布におけるnpを np=λ に置換する.二項分布の確率質量関数は以下のように変形される.

\begin{eqnarray*}f(x)&=&{}_n\mathrm{C}_xp^x(1-p)^{n-x}\\&=&\frac{n(n-1)\cdots(n-x+1)}{x!}\left(\frac{\lambda}{n}\right)^x\left(1-\frac{\lambda}{n}\right)^{n-x}\\&=&\frac{\lambda^x}{x!}\left(1-\frac{1}{n}\right)\cdots\left(1-\frac{\lambda}{n}\right)^{-k}\left(1-\frac{\lambda}{n}\right)^n\tag{19}\end{eqnarray*}

ここで,nが十分大きいときは上式の最後の行における括弧はすべて1に近似されるため,以上の式は以下のように変形される.

\begin{eqnarray*}f(x)={}_n\mathrm{C}_xp^x(1-p)^{n-x}\approx \frac{\lambda^x}{x!}\left(1-\frac{\lambda}{n}\right)^n\tag{20}\end{eqnarray*}

この式の括弧内を展開すると以下のようになる.

\begin{eqnarray*}\frac{\lambda^x}{x!}\left(1-\frac{\lambda}{n}\right)^n&=&\frac{\lambda^x}{x!}\left(1-\frac{\lambda}{n}\right)\left(1-\frac{\lambda}{n}\right)\cdots\left(1-\frac{\lambda}{n}\right)\\&=&\frac{\lambda^x}{x!}\left(1-{}_n\mathrm{C}{}_1\cdot\frac{\lambda}{n}+{}_n\mathrm{C}{}_2\cdot\left(\frac{\lambda}{n}\right)^2-{}_n\mathrm{C}{}_3\cdot\left(\frac{\lambda}{n}\right)^3+\cdots\right)\\&=&\frac{\lambda^x}{x!}\left(1-\lambda+\frac{1}{2}\frac{n-1}{n}\lambda^2-\frac{1}{6}\frac{n-1}{n}\frac{n-2}{n}\lambda^3+\cdots\right)\tag{21}\end{eqnarray*}

ここで,括弧内のnを含む箇所はnが十分に大きいとき1に近似されるため,最終的に二項分布の確率質量関数は以下のように変形される.

\begin{eqnarray*}f(x)\approx \frac{\lambda^x}{x!}\left(1-\lambda+\frac{1}{2}\lambda^2-\frac{1}{6}\lambda^3+\cdots\right)\tag{22}\end{eqnarray*}

上式の括弧内はまさにeをテイラー展開したものである.すなわち,以上より二項分布の確率質量関数は以下のように変形される.

\begin{eqnarray*}f(x)={}_n\mathrm{C}_xp^x(1-p)^{n-x}\approx \frac{e^{-\lambda} \lambda^x}{x!}\tag{23}\end{eqnarray*}

すなわち,上式の左辺はまさにパラメーターλのポアソン分布に他ならない.

二項分布とベルヌーイ

二項分布に関連して,ベルヌーイ試行やベルヌーイ分布等のベルヌーイと関された用語が出てくるが,これは17世紀のスイスの数学者 Jakob Bernoulli に由来する.日本語では,ヤコブ・ベルヌーイとかジェームス・ベルヌーイ等と訳される.ベルヌーイという名前は統計学以外にも数学や物理学でもしばしば目にするが,これは17世紀後半から約1世紀にかけて多くの著名な数学者および物理学者を輩出したスイスのベルヌーイ家に由来するもである.ヤコブの兄,ヨハン・ベルヌーイはロピタルの定理で,甥のダニエル・ベルヌーイはベルヌーイの定理で有名である.

Hatena Google+