1. 决策树根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子
线性回归 决策树 人工神经网络 聚类分析 关联规则 线性回归(Linear Regression) 连续变量 损失函数(似然函数) 预测函数和实际值误差的平方尽可能小 \[J(\theta)=\frac{1}{m}\sum_{i=1}^m\frac{1}{2}(h(x_i)-y_i)^2\] 批梯度下降(batch Gradient descent，遍历所有数据集求误差
1. 决策树根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子
1. 决策树根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子
1. 决策树根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子
支持向量机优点：泛化错误率底，计算开销不大，结果易解释。缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二分类问题。适用数据类型：数值型、标称型。1、 基于最大间隔分隔数据如果数据集是N维的，那么需要一个N-1维的对象来对数据进行分隔，该对象被称为超平面，也就是分
第五章 支持向量机 Support vector machines 支持向量机是通过支持向量运算的一种分类器。 Linear Classfiers 线性分类：在二维空间中，通过一条直线分类，在n维空间中可以通过p-1维的超平面分类。 Distance to Hyperplane 到超平面的距离 Selection of Classfiers 如何
PCA最小平方误差理论推导 PCA求解其实是寻找最佳投影方向，即多个方向的标准正交基构成一个超平面。 理论思想：在高维空间中，我们实际上是要找到一个d维超平面，使得数据点到这个超平面的距离平方和最小 假设\(x_k\)表示p维空间的k个点，\(z_k\)表示\(x_k\)在超平面D上的投影向量，\(W = {w_1
第二节–感知机 感知机(perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值.感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型.感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于
假设有点x0=(x01,x02,...x0m)x_0 = (x_0^1,x_0^2,...x_0^m)x0=(x01,x02,...x0m)不在超平面y=wx∗by=wx*by=wx∗b上，其中w=(w1,w2,...wm)w = (w^1,w^2,...w^m)w=(w1,w2,...wm)，求x0x_0x0到y=wx∗by=wx*by=wx∗b的距离。 步骤一：证明www为超平面y=wx+by=wx+by=wx+b的法
仿射集 定义：通过集合C中任意的两个不同的点的直线仍然在集合C内，则层集合C为仿射集。 仿射集的例子：直线，平面，超平面 超平面：AX=b f(x) = 0表示定义在定义域Rn的超平面，令f(x)=Ax-b，则f(x)=0表示“截距”为b的超平面。在三维空间的平面是二维的，四维空间的平面是三维的，n维空间的平面是n-1
Annoy 随机选择两个点，以这两个节点为初始中心节点，执行聚类数为2的kmeans过程，最终产生收敛后两个聚类中心点二叉树底层是叶子节点记录原始数据节点，其他中间节点记录的是分割超平面的信息 但是上述描述存在两个问题：（1）查询过程最终落到叶子节点的数据节点数小于 我
.感知机：感知机的模型就是尝试找到一条直线，能够把位于一个平台上所有的男孩和女孩隔离开。放到三位或者更高维空间，感知机的模型就是尝试找到一个超平面，把所有的二元类别隔离开。如果找不到这样的直线，那就说明感知机模型不合适，感知机应用于线性可分。 感知机的话他的解不是唯一的
支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)
前言 一旦文档变成这种稠密向量形式，那如何从海量文本中快速查找出相似的Top N 文本呢? 这就不得不提到一个海量数据相似查找算法——Annoy算法。 算法原理 建立索引 Annoy的目标是建立一个数据结构，使得查询一个点的最近邻点的时间复杂度是次线性。Annoy 通过建立一个二叉树来
scikit-learn中SVM的算法库分为两类，一类是分类的算法库，包括SVC， NuSVC，和LinearSVC 3个类。另一类是回归算法库，包括SVR， NuSVR，和LinearSVR 3个类。相关的类都包裹在sklearn.svm模块之中。 对于SVC， NuSVC，和LinearSVC 3个分类的类，SVC和 NuSVC差不多，区别
1. 背景： 1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出 1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年发表 1.3 深度学习（2012）出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的
01 见证者 上一周我们了解了统计学习方法的概念和基本的三要素 还记得三要素么？ 模型、策略、算法 这周我们进入正题，对各个统计学习方法按照三要素的结构进行学习，先从机器学习最原始的方法说起——感知机。 稍微了解一下人工智能的发展历史，我们可以知道，感知机算法见证
1.我们希望通过下式：最小化w的范数来得到最大间隔划分超平面对应的模型，其中w和b是模型参数： 2.对上式利用拉格朗日乘子法可以得到其对偶问题，即对上式每条约束添加一个拉格朗日乘子，该问题可以写为： ，
1.分类学习最基本的想法就是：基于一个训练集D在样本空间中找到一个划分超平面，将不同的类别样本分开。两类训练样本“正中间”超平面所产生的结果是最鲁棒的，对局部扰动容忍最好，对于未见的实例的泛化能力最强。 2.划分超平面可以由：方程来描述，其中为法向量，决定了超平面的方向，b为位移项，
