理論関連事項

統計学の基本事項,確率分布の詳細,各種データ解析法の理論的背景について.

固有値と固有ベクトル

$n\times n$ からなる正方行列 $\boldsymbol{A}$,$n$ の要素からなるベクトル $\boldsymbol{x}$,スカラー $\lambda$ を考える.これらが以下の関係を満たすとき,$\lambda$ を固有値,$\boldsymbol{x}$ を固有ベクトルという.ただし,固有ベクトルは非ゼロベクトルに限る.

\begin{eqnarray*}\boldsymbol{A}\boldsymbol{x}=\lambda\boldsymbol{x}\tag{1}\end{eqnarray*}

行列のランク

行列のランク (階数) とは,対象の行列に含まれる一次独立な行または列ベクトルの最大本数のこと.

行列のトレース

行列のトレース (固有和) とは,$n \times n$ の正方行列 $\boldsymbol{A}$ について,対角要素をすべて足し合わせた値であり,以下の式で計算される.

\begin{eqnarray*}\mathrm{tr}\boldsymbol{A}=\sum_{i=1}^{n}a_{ii}\tag{2}\end{eqnarray*}

正定置行列と半正定置行列

$n\times n$ からなる実対称行列 $\boldsymbol{A}$ において,すべての固有値が正であるとき,その行列を正定置であるといい,すべての固有値が非負であるとき,半正定置であるという.

ベクトルの結合

以下のようなベクトル $\boldsymbol{v}_i$ およびスカラー $\lambda_i$ $(i=1,2,\ldots,n)$ であらわされるベクトル $\boldsymbol{u}$ をベクトル $\boldsymbol{v}_i$ の線形結合ベクトルという.また,すべての $\lambda_i$ が非負である場合,非負結合ベクトルという.

\begin{eqnarray*}\boldsymbol{u}=\lambda_1\boldsymbol{v}_1+\lambda_2\boldsymbol{v}_2+\cdots+\lambda_n\boldsymbol{v}_n\tag{3}\end{eqnarray*}

また,以下の式が満たされる場合,この結合をアフィン結合という.

\begin{eqnarray*}\sum_{i=1}^{n}\lambda_{i}=1\tag{4}\end{eqnarray*}

テイラー展開

関数 $f(\boldsymbol{x})$ について,以下のような展開を関数 $f(\boldsymbol{x})$ の $a$ まわりのテイラー展開という.

\begin{eqnarray*}f(\boldsymbol{x})=\sum_{n=1}^{\infty}\frac{f^{(n)}(a)}{n!}(x-a)^n\tag{5}\end{eqnarray*}

また,$x-a=h$ の変換を行った以下の展開も関数 $f(\boldsymbol{x})$ の $a$ まわりのテイラー展開.

\begin{eqnarray*}f(\boldsymbol{h}+\boldsymbol{a})=\sum_{n=1}^{\infty}\frac{f^{(n)}(a)}{n!}h^n\tag{6}\end{eqnarray*}

勾配ベクトル

実数置換数 $f(\boldsymbol{x})$ の全要素の偏微分からなるベクトルを勾配ベクトルといい,以下のように $\nabla f(\boldsymbol{x})$ を用いてあらわす..勾配ベクトルは $\boldsymbol{x}$ を動かしたときにその関数が最も大きく動く方向を示す.同時に,任意の実数 $k$ に対して $f(\boldsymbol{x})=k$ を計算して得られる等高線と直交する.

\begin{eqnarray*}\nabla f(\boldsymbol{x})=\left(\begin{array}{c}\displaystyle \frac{\partial{f(\boldsymbol{x})}}{\partial x_1}\\\displaystyle \frac{\partial{f(\boldsymbol{x})}}{\partial x_2}\\\vdots\\\displaystyle \frac{\partial{f(\boldsymbol{x})}}{\partial x_n}\\\end{array}\right)\tag{7}\end{eqnarray*}
Hatena Google+