标签：SVM Tx hat functional Intro lecture margin gamma

在构建线性分类器的时候，我们希望找一个决策边界将 positive examples 和 negative examples 较好地分开。对于一个 example, 我们希望分类的时候尽可能 correct (归到正确的一边) and confident (离决策边界尽可能远)。这就是 baby SVM 的 motivation。

在 SVM 中我们不延续之前的习惯，用 +1 和 -1 来表示正负例标签, 最后不输出概率, 而是输出 \(sign(w^Tx + b)\)

用 \(b\) 表示线性函数中的截距，\(w\) 表示其他参数，我们希望的是, 当 \(y= 1\) (positive)，\(w^Tx + b >> 0\), 当 \(y = -1\), (negative examples), \(w^Tx + b << 0\) , 综上，我们可以定义一个衡量这种correct and confident 的标准，functional margin:

\[\hat\gamma^{(i)} = y^{(i)}(w^Tx^{(i)} + b) \]

而对于真个数据集的 functional margin:

\[\hat\gamma = min_{i = 1,...,m} \quad \hat\gamma^{(i)} \]

然而 functional margin 的一个问题是，当我们同时缩放 \(w, b\), 实际上的决策边界是没有改变的，但是 functional margin 却改变了。

另一个角度是从几何意义来考虑一次预测的好坏，一个分类正确的样本，它离决策边界越远，一般可以认为这次预测较为 correct and confident, 基于此，我们定义 geometric margin \(\gamma\)

\[\gamma^{(i)} = \frac{y^{(i)}(w^Tx^{(i)} + b) }{||w||} \]

同样地，对于整个数据集,

\[\gamma = min_{i = 1,...,m}\quad \gamma^{(i)} \]

geometric margin 解决了 functional margin 关于同时缩放 \(w, b\) 带来的问题。

因此 SVM 求解的目标就是:

\[max_{w,b}\quad \gamma \]

\[s.t. \gamma^{(i)} \ge \gamma \]

然而这并不是一个凸优化问题，我们将问题改写

\[max_{w,b} \quad \frac{\hat\gamma}{||w||}\\ s.t.\hat\gamma^{(i)}\ge \hat\gamma \]

由于 functional margin 的取值可通过 rescaling 来调整，并不影响问题的求解，因此可以让 \(\hat\gamma = 1\), 进一步问题可以化为在约束下最小化 \(\frac{1}{||w||}\)， 这等价于:

\[\min_{w,b} \frac{1}{2}||w||^2\\ s.t. \hat\gamma^{(i)}\ge \hat\gamma \]

这是一个凸优化问题。

标签：SVM,Tx,hat,functional,Intro,lecture,margin,gamma
来源： https://www.cnblogs.com/Softwarer1412/p/16029691.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。