理論関連事項

統計学の基本事項,確率分布の詳細,各種データ解析法の理論的背景について.

ラグランジュの未定乗数法の定理

ラグランジュの未定乗数法とは,ある束縛条件での最適化問題を解く手法.以下のような最小化問題を考える.ここで,$\boldsymbol{x}$ はベクトル.また,$\boldsymbol{x}^*$ を局所最適解とする.

\begin{eqnarray*}\left\{\begin{array}{l}\rm{minimize}\ &f(\boldsymbol{x})\\\rm{subject\ to}\ &g(\boldsymbol{x})=0\end{array}\right.\tag{1}\end{eqnarray*}

このとき,$\nabla g(\boldsymbol{x}^*)\neq \boldsymbol{0}$ であるなら,以下の式が成り立つ.ここで,$\lambda$ はある定数であり,これをラグランジュ乗数と呼ぶ.この関係式を解くことで最適解を得ることができる.

\begin{eqnarray*}\left\{\begin{array}{l}\nabla f(\boldsymbol{x}^*)=\lambda\nabla g(\boldsymbol{x}^*)\\g(\boldsymbol{x}^*)=0\end{array}\right.\tag{2}\end{eqnarray*}

ラグランジュの未定乗数法の使用例

以下の最小化問題を考える.

\begin{eqnarray*}\left\{\begin{array}{l}\rm{minimize}\ &f(x,y)=4x+4y\\\rm{subject\ to}\ &g(x,y)=x^2+y^2-4=0\end{array}\right.\tag{3}\end{eqnarray*}

これに対してラグランジュの未定乗数法の式を適用すると以下の式を得る.

\begin{eqnarray*}\left\{\begin{array}{l}\left(\begin{array}{c}4\\4\\\end{array}\right)=\lambda\left(\begin{array}{c}2x\\2y\\\end{array}\right)\\x^2+y^2-4=0\end{array}\right.\tag{4}\end{eqnarray*}

これを $x$ および $y$ について解くことで以下の解を得る.

\begin{eqnarray*}\left(\begin{array}{c}x\\y\\\end{array}\right)=\left(\begin{array}{c}\pm\sqrt{2}\\\pm\sqrt{2}\\\end{array}\right)\tag{5}\end{eqnarray*}
Hatena Google+