理論関連事項

統計学の基本事項,確率分布の詳細,各種データ解析法の理論的背景について.

カルーシュ・クーン・タッカー法とは,不等式を含む最適化問題を解く手法.以下のような最小化問題を考える.ここで,$\boldsymbol{x}$ はベクトル.また,$\boldsymbol{x}^*$ を局所最適解とする.

\begin{eqnarray*}\left\{\begin{array}{l}\rm{minimize}\ &f(\boldsymbol{x})\\\rm{subject\ to}\ &g(\boldsymbol{x})\leq0\end{array}\right.\tag{1}\end{eqnarray*}

このとき,以下の式を考える.ここで,$\lambda$ はある定数である.

\begin{eqnarray*}L(\boldsymbol{x},\lambda)=f(\boldsymbol{x})-\lambda g(\boldsymbol{x})\tag{2}\end{eqnarray*}

このとき,以下の条件式が成り立つ.これをカルーシュ・クーン・タッカー (KKT) 条件という.

\begin{eqnarray*}\left\{\begin{array}{l}\nabla L(\boldsymbol{x}^*,\lambda)&=&\boldsymbol{0}\\\lambda g(\boldsymbol{x}^*)&=&0\\\lambda&\geq&0\\g(\boldsymbol{x}^*)&\leq&0\end{array}\right.\tag{3}\end{eqnarray*}
Hatena Google+