支持向量机
什么是支持向量机？
支持向量机，因其英文名为 Support Vector Machine，故一般简称 SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
支持向量机(SVM)是一种相对简单的方法。监督机器学习算法用于分类和/或回归。它更倾向于分类，但有时对回归也非常有用。基本上，支持向量机会找到一个超平面，在数据类型之间创建一个边界.在二维空间中，这个超平面只不过是一条线.
在支持向量机中，我们在N维空间中绘制数据集中的每个数据项，其中N是数据中的特征/属性数。接下来，找到分离数据的最佳超平面。因此，您必须了解到，支持向量机在本质上只能执行二进制分类(即在两个类之间进行选择)。然而，对于多类问题，可以使用各种技术.
多类问题的支持向量机
为了对多类问题执行支持向量机，我们可以为每类数据创建一个二进制分类器。每个分类器的两个结果是：
- 数据点属于该类或
- 数据点不属于该类。
例如，在一类水果中，为了执行多类分类，我们可以为每个水果创建一个二进制分类器。例如，“芒果”类，将有一个二进制分类器来预测它是芒果还是不是芒果。选择得分最高的分类器作为支持向量机的输出。
复数（非线性可分）的支持向量机
支持向量机对线性可分数据没有任何修改就能很好地工作。线性可分数据可以在图形中绘制并可以使用直线分隔成类的任何数据。
A：线性可分数据 B：非线性可分数据
我们用核化支持向量机对于非线性可分数据。比如说，我们有一些一维的非线性可分数据。我们可以将这些数据转换成二维数据，数据将在二维内线性分离。这是通过将每个一维数据点映射到相应的二维有序对来完成的.
因此，对于任意维数中的任何非线性可分数据，我们只需将数据映射到高维，然后使其线性可分。这是一个非常强大和普遍的转变。
A 核不能衡量数据点之间的相似性。这个核函数在核化支持向量机中，给定原始特征空间中的两个数据点，新转换的特征空间中的点之间的相似性是什么。
有各种可用的内核函数，但其中两个非常流行：
- **径向基函数核(RBF)：**变换后的特征空间中两点之间的相似性是向量与原始输入空间之间距离的指数衰减函数，如下所示。RBF是SVM的默认核函数。
- **多项式核：**多项式核有一个额外的参数“度”，它控制着模型的复杂性和转换的计算成本。
一个非常有趣的事实是，SVM实际上不必对数据点执行到新的高维特征空间的实际转换。这叫做核戏法.
内核技巧：
在高维特征空间中，核化支持向量机可以通过对点之间的相似度计算来计算这些复杂的变换，在高维特征空间中，转换的特征表示是隐式的。
这种相似函数，在数学上是一种复数乘积，实际上是核化支持向量机的核心。这使得支持向量机在底层特征空间复杂，甚至无限维的情况下应用是可行的。内核技巧本身非常复杂，超出了本文的范围。
核化SVC(支持向量分类器)中的重要参数
- 内核是根据数据类型和转换类型选择的。默认情况下，内核是径向基函数核(RBF)。
- 伽马这个参数决定了在转换过程中单个训练示例的影响达到了多大程度，这反过来又会影响决策边界在输入空间中的周围点的结束程度。如果伽马值较小，则认为相距较远的点相似。因此，更多的点被聚在一起，具有更流畅的决策边界(可能不太准确)。较大的伽马值会使点更接近(可能导致过度拟合)。
- C参数该参数控制对数据应用的正则化的数量。较大的C值意味着低正则化，这反过来又使训练数据很好地拟合(可能导致过度拟合)。较低的C值意味着较高的正则化，这使得模型对误差的容忍度更高(可能导致较低的精度)。
核化支持向量机的优点：
- 它们在一系列数据集上表现很好。
- 它们是通用的：可以指定不同的内核函数，也可以为特定的数据类型定义自定义内核。
- 它们适用于高维和低维数据。
核化支持向量机的缺点：
- 效率(运行时间和内存使用量)随着训练集大小的增加而降低。
- 需要对输入数据进行仔细的规范化和参数调整。
- 不提供直接概率估计。
- 很难解释为什么做出预测。
标签：核化,支持,分类器,内核,数据,向量 来源： https://blog.csdn.net/qq_37774399/article/details/120379459
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。