了解一些SVM背后的数学原理，可以对SVM的优化问题，以及如何得到大间距分类器，产生更好的理解。看下图：
其实背后的数学原理十分简单，无非就是向量的模 || u ||（也称范数，长度，欧几里得长度）,公式为
，向量的内积
，即
，v向量投影在u向量上的长度p,即 || v || * cosθ ，θ为两向量之间的夹角，可以看出p是有正负的。由此我们得到了我们熟悉的公式
，最终得到
。
我们先回顾SVM的目标函数，如下：
为了便于理解，对式子做一些修改。如下：
为了方便，忽略截距，即令
，这样更容易画示意图。图中目标函数写成了
，因为括号里面的一项是向量θ的范数，即坐标轴中θ的长度。因此，SVM做的全部事情，就是极小化参数向量θ范数的平方，或者说长度的平方。
从上面的向量内积的推导可以得到，对于每一个样本特征向量X，可以得到
由此，我们可以做出一下变换：
现在我们来看一看，这样对分析决策边界有什么影响。
我们依然令
，这样决策边界不会平移，也就是说截距为0，即决策边界必须通过原点(0,0)。决策边界和θ是垂直的。
我们用第一个样本 
，投影到参数θ上，投影是上图所示的红线段，长度为
，同理，得到
等等。我们也知道了，当夹角大于90度时，即与θ的方向相反，p为负，小于90度时，即与θ的方向相同，p为正。
我们会发现这些
是非常小的数（因为决策边界选的不咋滴），对于正样本而言，我们需要
，因为非常小，所以我们需要的θ的范数非常大，但是我们的目标函数是希望找到一个参数θ，它的范数是越小越好。因此，这是非常矛盾的，参数向量θ也就不行，决策边界也好不到那里去。
再来看一个决策边界，如下图：
可以看到
和
大了很多，也就是说相应的θ范数可以小很多，也和我们希望目标函数尽可能小是一致。我们就选择上图的绿线作为决策边界，而决策边界的间距就是
等等的值。通过使这些间距变大，SVM最终可以找到一个较小的θ范数。这正是SVM中最小化目标函数的目的。
标签：SVM,边界,背后,决策,数学,范数,我们,向量 来源： https://blog.csdn.net/hnlg311709000526/article/details/118252520
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。