拉格朗日对偶性
在解决最优化问题时,我们常常会用到拉格朗日对偶性将原始问题转换成对偶问题进行求解(这样我们就将约束最优化问题转换为无约束的最优化问题).例如最大熵模型,支持向量机.
原始问题如下:
假设f(x),c(x),h(x)均为实空间上的连续可微函数.
我们引入广义拉格朗日函数
看到这里,我们惊喜的发现高数做题做到吐的方法吗?
我们假设P表示原始问题:
我们得到一个关于x的方程.
那么我们可以轻松的看出,当存在某个 x ,如果 x 满足约束条件,则
,若x不满足约束条件(不满足c(x),h(x)中的任意一个)我们都将得到
,也就是说:
因此,如果我们考虑极小值问题,那么:
这样我们就将原始最优化问题,转化为广义拉格朗日函数的极大极小问题.
对偶问题
我们将上述原始问题的最优解记为:
定义:
这样等式右边成为广义拉格朗日函数的极大极小值。
这样我们就得到原始问题的对偶问题：
为方便表示，定义对偶问题的最优解为：
这样，
这样就可以通过求解对偶问题的最优解来求解原始问题。
标签：拉格朗,最优化,问题,对偶性,原始,我们,对偶 来源： https://blog.csdn.net/weixin_54087462/article/details/121874724
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。