约束优化理论的推导

2021-08-09 16:02:56 浏览数 (1)

本来是打算解释一下数据包络分析的,考虑到原理里面有对偶问题的涉及,那就先从原理的角度简述一下约束优化的对偶优化问题以及kkt条件吧,这同样也是支持向量机中比较核心的知识点,笔者在某厂面试时被手推过这个,最终也是因为解释出来了kkt条件而过了面试,所以重要性还是不言而喻的。

一般来讲,约束优化(本文主要针对凸优化)是指在自变量存在约束集合(集合也叫可行域)的情况下对目标函数进行最优化求解的过程,当然除了我们应该必须形成定式思维的拉格朗日罚函数求解方法外,还有一种改良的梯度求解法也可以求解(把梯度下降后的新自变量强行映射到可行域中,或者是将梯度约束到可行域构成的切线空间中),不过这不是本文的重点,但是需要有这个概念,接下来详述本文重点

准备

对偶问题

对偶问题与原始问题的最优解的关系

那么问题来了等号成立的条件是什么呢?这就是kkt条件的来源

kkT条件

0 人点赞