标签：拉格朗 ... KKT boldsymbol beta 0g alpha 乘子 aligned

文章目录

• 1. 拉格朗日算子
• 1.1 基本流程
• 1.2 理解
• 第一层理解：
• 第二层理解：
• 2. KKT条件
• 2.1 一个限制条件的情况
• 2.2 多个限制条件的情况
• 3. 对偶问题
• 3.1 原始问题
• 3.1.1 一个限制条件的情况下
• 3.2.2 多个限制条件的情况下
• 3.2 转化者
• 3.3 大小安排一波？？？
• 4. 小结
• 5. 参考文献

1. 拉格朗日算子

1.1 基本流程

假设$\boldsymbol{x}=[x_1,x_2,...,x_d]$x=[x1​,x2​,...,xd​]，是一个$d$d维的向量，$f(x)$f(x)和$g(x)$g(x)是定义在实数集上连续可微的函数，现在需要找一个$x^*$x∗使得$f(x)$f(x)具有最小值，且$g(x) \leq 0$g(x)≤0。即有：
$\begin{aligned} \min _x f(x) \\ s.t. \ g(x) \leq 0 \tag{1.1} \end{aligned}$xmin​f(x)s.t. g(x)≤0​(1.1)
那么，通过拉格朗日乘子法，可以构造出下面的式子：
$\begin{aligned} L(\boldsymbol{x}, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x}) \tag{1.2} \end{aligned}$L(x,w)=f(x)+wg(x)​(1.2)

令$L(\boldsymbol{x},w)$L(x,w)的对$\boldsymbol{x}$x的导数为0，求解出$x, w$x,w的值，那么，$\boldsymbol{x}$x就是函数$f(\boldsymbol{x})$f(x)在附加条件$g(\boldsymbol{x})$g(x)下可能的极值点。

1.2 理解

第一层理解：

在学高数的时候，对拉格朗日的理解仅限于：构造了一个函数$L(x,y,\lambda)$L(x,y,λ)，对该函数$L(x,y,\lambda)$L(x,y,λ)求极导，令导数为0，可以算出极大值极小值。

第二层理解：

在进行第二层理解时，需要明白几个概念：

• 数学里面，梯度指的是函数变化最快的方向。
• 梯度跟函数约束曲线是垂直的，既然垂直于约束曲面，就一定垂直于等高线。

具体可以参考这篇文章拉格朗日乘子法。该文比较直观的介绍了拉格朗日的基本定理，并且从切线、梯度的角度分析了拉格朗日算子。

---

2. KKT条件

2.1 一个限制条件的情况

看完这个例子之后，在公式(1.2)可能取到的所有点中，的的确确找到了一个$\boldsymbol{x^*}$x∗，使得$f(\boldsymbol{x})$f(x)最小且满足$g(\boldsymbol{x}) \leq 0$g(x)≤0，在这样的情况下，必然有
$\begin{aligned} \bigtriangledown f(\boldsymbol{x^*}) + w \bigtriangledown g(\boldsymbol{x^*}) = 0 \tag{2.1} \end{aligned}$▽f(x∗)+w▽g(x∗)=0​(2.1)
而公式(2.1)在某些条件下刚好是公式(1.2)：$L(x, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x})$L(x,w)=f(x)+wg(x)对$\boldsymbol{x}$x的偏导数等于$0$0的情况。
$\begin{aligned} \frac{\partial{L(\boldsymbol{x}, w)}}{\partial{\boldsymbol{x}}} = \bigtriangledown f(\boldsymbol{x}) + w \bigtriangledown g(\boldsymbol{x}) \end{aligned}$∂x∂L(x,w)​=▽f(x)+w▽g(x)​
那么，某些条件是什么呢？

1. $g(\boldsymbol{x}) \leq 0$g(x)≤0：这个没什么好说的，限制条件。

2. $w \geq 0$w≥0：要满足这个条件，考虑$g(\boldsymbol{x})&lt;0$g(x)<0和$g(\boldsymbol{x})=0$g(x)=0两种情况：
   (1). 当$g(\boldsymbol{x^*})=0$g(x∗)=0时：说明这个点在 $g(\boldsymbol{x})=0$g(x)=0构成的边界上，此时必然有$\bigtriangledown f(\boldsymbol{x^*})$▽f(x∗)和$\bigtriangledown g(\boldsymbol{x^*})$▽g(x∗)平行，但是无法保证他们俩方向和大小相同，因此标量$w&gt;0$w>0，使得等式(2.1)成立。
   

   (2). 当$g(\boldsymbol{x^*})&lt;0$g(x∗)<0时：说明这个点在$g(\boldsymbol{x})=0$g(x)=0构成边界的内部，此时限制条件$g(\boldsymbol{x}) \leq 0$g(x)≤0就打酱油了，没卵用，可以直接通过条件$\bigtriangledown f(\boldsymbol{x})=0$▽f(x)=0获得最优点，这个时候$w=0$w=0。
   

3. $wg(\boldsymbol{x})=0$wg(x)=0：要加上这个条件的原因是，为了满足条件2中的两种情况。
   $\begin{aligned} \left\{\begin{matrix} g(\boldsymbol{x}) \leq 0 \\ w \geq 0 \\ wg(\boldsymbol{x})=0 \end{matrix}\right. \tag{2.2} \end{aligned}$⎩⎨⎧​g(x)≤0w≥0wg(x)=0​​(2.2)
   所以啊，公式(2.2)就被称为Karush-Kuhn-Tucker, (KKT)条件。

2.2 多个限制条件的情况

一个限制条件说清楚了，那么多当有多个约束条件时，考虑$l$l个等式约束和$k$k个不等式约束。
$\begin{aligned} \min _x f(\boldsymbol{x}) &amp; \\ s.t. \ c_i(\boldsymbol{x}) \leq 0 \ &amp; (i=1,2,...,k)\\ \ h_j(\boldsymbol{x}) = 0 \ &amp; (j=1,2,...,l) \tag{2.3} \end{aligned}$xmin​f(x)s.t. ci​(x)≤0  hj​(x)=0 ​(i=1,2,...,k)(j=1,2,...,l)​(2.3)
这个时候，引入拉格朗日算子$\boldsymbol{\alpha}=[\alpha_1,\alpha_2,...,\alpha_l]$α=[α1​,α2​,...,αl​]和$\boldsymbol{\beta}=[\beta_1,\beta_2,...,\beta_k]$β=[β1​,β2​,...,βk​]，拉格朗日函数为
$\begin{aligned} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) = f(\boldsymbol{x}) + \sum_{i=1}^{k} \alpha_i c_i(\boldsymbol{x}) + \sum_{j=1}^{l} \beta_j h_j(\boldsymbol{x}) \tag{2.4} \end{aligned}$L(x,α,β)=f(x)+i=1∑k​αi​ci​(x)+j=1∑l​βj​hj​(x)​(2.4)
则他们的KKT条件是：
$\begin{aligned} \left\{\begin{matrix} c_i(\boldsymbol{x}) \leq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i \geq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i c_i(\boldsymbol{x})=0\\ h_j(\boldsymbol{x})=0 \end{matrix}\right. \tag{2.5} \end{aligned}$⎩⎪⎪⎨⎪⎪⎧​ci​(x)≤0 αi​≥0 αi​ci​(x)=0hj​(x)=0​(i=1,2,...,k)(i=1,2,...,k)​(2.5)

---

3. 对偶问题

KKT条件中提到，在公式(1.2)可能取到的所有点中，的的确确找到了一个$\boldsymbol{x^*}$x∗，使得$f(\boldsymbol{x})$f(x)最小且满足$g(\boldsymbol{x}) \leq 0$g(x)≤0。

但是，如果找不到呢。。。

3.1 原始问题

3.1.1 一个限制条件的情况下

找不到$\boldsymbol{x^*}$x∗，公式(2.1)就不能成立了，
$\begin{aligned} \bigtriangledown f(\boldsymbol{x^*}) + w \bigtriangledown g(\boldsymbol{x^*}) = 0 \tag{2.1} \end{aligned}$▽f(x∗)+w▽g(x∗)=0​(2.1)
但是，我要怎么告诉公式(2.1)不能成立啊！！！

找不到$\boldsymbol{x^*}$x∗，说明存在一个$\boldsymbol{x^{fake}}$xfake违背了$g(\boldsymbol{x}) \leq 0$g(x)≤0的条件，有$g(\boldsymbol{x^{fake}}) &gt; 0$g(xfake)>0，既然这样的话，在
$\begin{aligned} L(\boldsymbol{x}, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x}) \end{aligned}$L(x,w)=f(x)+wg(x)​
中，我们令$w \rightarrow {+\infty}$w→+∞。这样的话，

• 若$\boldsymbol{x}$x不违反$g(\boldsymbol{x}) \leq 0$g(x)≤0约束，则$\max_w L(\boldsymbol{x}, w) =f(\boldsymbol{x})$maxw​L(x,w)=f(x)
• 若$\boldsymbol{x}$x违反$g(\boldsymbol{x}) \leq 0$g(x)≤0约束，则$\max_w L(\boldsymbol{x}, w) = {+\infty}$maxw​L(x,w)=+∞

所以就变成了
$\begin{aligned} \min _x \max_w L(\boldsymbol{x}, w)\tag{3.1} \end{aligned}$xmin​wmax​L(x,w)​(3.1)

3.2.2 多个限制条件的情况下

$\begin{aligned} \min _x \max_{\alpha_i, \beta_j; \alpha_i \geq0} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\tag{3.2} \end{aligned}$xmin​αi​,βj​;αi​≥0max​L(x,α,β)​(3.2)

3.2 转化者

换个心情，换个思路。。。（透。。。）
这个问题称为广义拉格朗日函数的极大极小问题。
$\begin{aligned} \max_{\alpha_i, \beta_j;\alpha_i \geq0} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\tag{3.3} \end{aligned}$αi​,βj​;αi​≥0max​xmin​L(x,α,β)​(3.3)
也就是求
$\begin{aligned} \max_{\alpha_i, \beta_j;}\min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\\ s.t. \ \alpha_i \geq0 \tag{3.4} \end{aligned}$αi​,βj​;max​xmin​L(x,α,β)s.t. αi​≥0​(3.4)

3.3 大小安排一波？？？

假设公式(3.2) 原始人 的最优解为$p^*$p∗，公式(3.4) 转化者 的最优解为$d^*$d∗。
因为
$\begin{aligned} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq \max_{\alpha_i, \beta_j; \alpha_i \geq0} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \tag{3.5} \end{aligned}$xmin​L(x,α,β)≤L(x,α,β)≤αi​,βj​;αi​≥0max​L(x,α,β)​(3.5)
因为原始人和转化者都有最优解，所以有
$\begin{aligned} d^*=\max_{\alpha_i, \beta_j;} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq \min_x \max_{\alpha_i, \beta_j} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=p^* \tag{3.6} \end{aligned}$d∗=αi​,βj​;max​xmin​L(x,α,β)≤xmin​αi​,βj​max​L(x,α,β)=p∗​(3.6)
所以在KKT条件中，还要加上这几条，最后是：
$\begin{aligned} \left\{\begin{matrix} \bigtriangledown_{\boldsymbol{x}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ \bigtriangledown_{\boldsymbol{\alpha}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ \bigtriangledown_{\boldsymbol{\beta}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ c_i(\boldsymbol{x}) \leq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i \geq 0 \ &amp; (i=1,2,...,k)\\ \alpha_i c_i(\boldsymbol{x})=0\\ h_j(\boldsymbol{x})=0 \end{matrix}\right. \tag{3.7} \end{aligned}$⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧​▽x​L(x,α,β)=0▽α​L(x,α,β)=0▽β​L(x,α,β)=0ci​(x)≤0 αi​≥0 αi​ci​(x)=0hj​(x)=0​(i=1,2,...,k)(i=1,2,...,k)​​(3.7)

---

4. 小结

所以，要求一个连续可微函数的最小值，并且还有一堆限制条件，可以这么做：

1. 引入拉格朗日乘子，构造拉格朗日函数；
2. 计算拉格朗日函数对未知参数的偏导数，并令导数为0，求解参数。
3. 将参数代入拉格朗日函数中，并转化成对偶问题后求解。（转换的时候注意其KKT条件）
   

---

5. 参考文献

《西瓜书》
《统计学习方法》
《拉格朗日乘子法》

标签：拉格朗,...,KKT,boldsymbol,beta,0g,alpha,乘子,aligned
来源： https://blog.csdn.net/u012759262/article/details/100796979

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。