标签：yi 直线 SVM support 样本 我们 machine 约束 间隔

背景

对于两类问题，给定数据，使用线性函数，如何分类？

方案1（只看黑色分界线，红色不用管）

方案2（只看黑色分界线，红色不用管）

哪一个更好？
第二个好，将两类数据分得更开，而且：

建模

有了目标之后，我们要对上面那个更好的分界面进行数学描述：即希望拥有更大的间隔。间隔就是红色区域的宽度。
数学描述：
分界面的直线设为：

样本点x到该分界面的距离为（使用点到直线距离公式）：

该直线选得好不好？看间隔。

稍微解释一下，一般我们认为间隔是上面公式的两倍，即红色区域的宽度，但是我们的目标是间隔越大越好，其实也就是间隔的一半越大越好，所以我们没乘2也是可以的，不影响什么。

最后，算出了间隔之后，我们希望我们选的直线（由w,b决定）间隔是最大的。即：

通俗的解释就是，我们先穷举一个w,b（定下一条直线），然后看下间隔，看大不大，不大就穷举下一个参数w,b，直到找到最大的那个间隔，此时返回对应的参数w,b。这样，就求解完成了。

远没有完成，我们忘记了约束。我们一心只管间隔最大，忘了测试间隔最大对应的那个直线能否分对我们的样本。
我们的所有点都预处理成 ( x i , y i ) (x_i,y_i) (xi​,yi​)的格式，其中 y i y_i yi​是标签，我们预处理成 + 1 +1 +1或者 − 1 -1 −1。一个代表正类，一个代表负类。因此，直线可以分对样本也就是：

合起来就是：

最终得到：

考虑将上述约束变成：

有人说，改成1，这怎么可以呢？答案是：可以的，而且在线性可分的情况下是等价的。
解释：我们先忽略掉上面两幅图的等于号，变成大于号，因为在完全线性可分的情况下，两类样本在直线的两侧，不会在直线上，所以不会为0，不取等号。
然后假设上上幅图选出来的最佳参数是w,b，且 y i ( w x i + b ) = m > 0 y_i(wx_i+b)=m>0 yi​(wxi​+b)=m>0，那么我们可以找一个比较大的正数k，令W=kw,B=kb,然后可以证明这个是上幅图的最优解。
证明很简单
第一，系数乘以一个倍数，内层公式的结果不受系数倍数影响，分子分母会约掉，所以原来是最大间隔，现在还是最大间隔。

第二，由于我们乘了一个比较大的系数，从而有 y i ( W x i + B ) = k m > 1 y_i(Wx_i+B)=km>1 yi​(Wxi​+B)=km>1，满足上幅图的第二个约束。
结论：上上幅图的约束转化为上幅图的约束后，分别求出来的最优直线关系密切，它们所对应的直线是同一条（考虑 x + 2 = 0 , 2 x + 4 = 0 x+2=0,2x+4=0 x+2=0,2x+4=0，间隔没有变大。但是乘了倍数的后者却可以使得

也即：

那么我们以后就只用第二个形式了。

继续向前推导，我们有

现在精彩的时候到了，如果我们让 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣特别小，那么上面等式的右边就会特别大，从而对于任意的样本带入，左边都会特别大，在所有这么大的当中选一个最小的，也就是间隔，自然也会变得非常大。基于这个思想，我们又改了目标函数。

标签：yi,直线,SVM,support,样本,我们,machine,约束,间隔
来源： https://blog.csdn.net/qq_43391414/article/details/111698371

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。