『感知机』

2020-01-23 18:38:08 阅读：318 来源： 互联网

文章目录

1. 感知机模型
2. 数据集的线性可分性
3. 感知机学习策略——损失函数极小化
4. 感知机学习算法

4.1 原始形式
4.2 对偶形式

感知机（perceptron）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取

+1

+1和

-1

−1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。

1. 感知机模型

假设输入空间（特征空间）是 ${X}\subseteq {R}^n$ X⊆Rn，输出空间是 $Y=\{+1, -1\}$ Y={+1,−1}，输入 $x \in X$ x∈X表示实例的特征向量，对应于输入空间（特征空间）的点；输出 $y \in Y$ y∈Y表示实例的类别。由输入空间到输出空间的如下函数：
$f(x)=sign(w\cdot x+b)$ f(x)=sign(w⋅x+b)称为感知机。其中 $w$ w和 $b$ b为感知机模型参数， $w\in R^n$ w∈Rn叫做权值（weight）或权值向量（weight vector）， $b \in R$ b∈R叫做偏置（bias）， $w \cdot x$ w⋅x表示 $w$ w和 $x$ x的内积， $sign$ sign是符号函数，即
$sign(x)= \begin{cases} +1 ,x \ge 0\\ -1 ,x \lt 0 \end{cases}$ sign(x)={+1,x≥0−1,x<0感知机有如下几何解释：
线性方程 $w \cdot x + b = 0$ w⋅x+b=0对应于特征空间 $R^n$ Rn中的一个超平面 $S$ S，其中 $w$ w是超平面的法向量， $b$ b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）分别被分为正、负两类。因此超平面S称为分离超平面（separating hyperplane）

2. 数据集的线性可分性

给定一个数据集 $T=\left\{(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n) \right\}$ T={(x1,y1),(x2,y2),⋯,(xn,yn)}其中 $x_i \in R^n, y_i \in Y=\{+1,-1\}, i=1,2,\cdots,n$ xi∈Rn,yi∈Y={+1,−1},i=1,2,⋯,n，如果存在某个超平面能够将数据集的正实例点和负实例点完全正确地划分到超平面两侧，即对所有 $y_i=+1$ yi=+1的实例 $i$ i，有 $w\cdot x_i+b\gt 0$ w⋅xi+b>0，对所有 $y_i=-1$ yi=−1的实例 $i$ i，有 $w\cdot x_i+b\lt 0$ w⋅xi+b<0，则称数据集 $T$ T为线性可分数据集（linearly separable data set）；否则称数据集 $T$ T线性不可分。

3. 感知机学习策略——损失函数极小化

        损失函数的一个自然选择是误分类点的总数。但是这样的损失函数不是参数 $w,b$ w,b的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面 $S$ S的总距离，这是感知机所采用的。为此，首先写出输入空间 $R^n$ Rn中任意一点 $x_0$ x0到超平面 $S$ S的距离： $\frac{1}{||w||_2}|w\cdot x_0+b|$ ∣∣w∣∣21∣w⋅x0+b∣这里 $||w||_2$ ∣∣w∣∣2是 $w$ w的 $l_2$ l2范数。
        其次，对于误分类的数据 $(x_i,y_i)$ (xi,yi)来说， $-y_i(w \cdot x_i+b)\gt0$ −yi(w⋅xi+b)>0。因此，误分类点 $x_i$ xi到超平面 $S$ S的距离是 $-\frac{1}{||w||_2}y_i(w \cdot x_i+b)$ −∣∣w∣∣21yi(w⋅xi+b)
        这样，假设超平面 $S$ S的误分类点集合为 $M$ M，那么所有误分类点到超平面 $S$ S的总距离为 $-\frac{1}{||w||_2}\sum_{x_i \in M}y_i(w \cdot x_i+b)$ −∣∣w∣∣21xi∈M∑yi(w⋅xi+b)不考虑 $\displaystyle\frac{1}{||w||_2}$ ∣∣w∣∣21，就得到感知机的损失函数，即
$\begin{aligned} L(w,b)&=-\sum_{x_i \in M}y_i(w \cdot x_i+b) \end{aligned}$ L(w,b)=−xi∈M∑yi(w⋅xi+b)显然 $L(w,b)\ge0$ L(w,b)≥0，故我们的目标只要减小损失函数就行了。

4. 感知机学习算法

4.1 原始形式

输入：训练数据集 $T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\}$ T={(x1,y1),(x2,y2),⋯,(xn,yn)}，其中 $x_i \in X,y_i \in \{+1,-1\},i=1,2,\cdots,n$ xi∈X,yi∈{+1,−1},i=1,2,⋯,n；学习率 $\eta(0\lt\eta\le1)$ η(0<η≤1)：
输出： $w,b$ w,b：感知机模型 $f(x)=sign(w\cdot x+b)$ f(x)=sign(w⋅x+b)
（1）选取初值 $w_0,b_0$ w0,b0；
（2）在训练集中选取数据 $(x_i,y_i)$ (xi,yi)；
（3）如果 $J=-y_i(w\cdot x_i+b)\ge0$ J=−yi(w⋅xi+b)≥0（单样本损失函数）
$\begin{aligned} w&=w-\eta \frac{\partial J}{\partial w}=w+\eta x_i y_i \\ \\ b&=b-\eta\frac{\partial J}{\partial b}=w+\eta y_i \end{aligned}$ wb=w−η∂w∂J=w+ηxiyi=b−η∂b∂J=w+ηyi
（4）转至（2），直至训练集中没有误分类点。

直观解释：
当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整 $w,b$ w,b 的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直至超平面越过该误分类点使其被正确分类。
【注】
这里每次只用一个样本进行梯度下降，因为你不确定每次参数更新后误分类的点有多少集合 $M$ M时变化的，损失函数无法构成 $w,b$ w,b的连续函数。

4.2 对偶形式

        对偶，简单地说，就是从一个不同的角度去解答相似问题，但是问题的解是相通的。
        或者说原始问题比较难求解，我们去求解另外一个问题，希望通过更简单的方法得到原始问题的解。
        我们假设样本点 $(x_i,y_i)$ (xi,yi)在更新过程中被使用了 $n_i$ ni次， $w,b$ w,b使用零初始化，因此，从原始的学习过程可以得到，最后学习到的 $w$ w和 $b$ b可以分别表示为：
$\begin{aligned} w&=\sum_{j=1}^n n_j \eta x_j y_j =\sum_{j=1}^n \alpha_j x_j y_j\\ \\ b&=\sum_{j=1}^n n_j \eta y_j=\sum_{j=1}^n \alpha_j y_j \end{aligned}$ wb=j=1∑nnjηxjyj=j=1∑nαjxjyj=j=1∑nnjηyj=j=1∑nαjyj其中 $w,b$ w,b关于 $(x_j,y_j)$ (xj,yj)的增量分别是 $\alpha_j x_j y_j$ αjxjyj和 $\alpha_j y_j$ αjyj。
        考虑 $n_j$ nj的含义：如果 $n_j$ nj的值越大，那么意味着这个样本点经常被误分。什么样的点容易被误分？很明显就是离超平面很近的点。超平面稍微一点点移动，这个点就从正变负，或者从负变正。将上式带入到原始的感知机中，可以得到：
$f(x)=sign(w\cdot x+b)=sign(\sum_{j=1}^n n_j \eta x_j y_j \cdot x+\sum_{j=1}^n n_j \eta y_j)$ f(x)=sign(w⋅x+b)=sign(j=1∑nnjηxjyj⋅x+j=1∑nnjηyj)此时的学习目标不再是 $w,b$ w,b，而是 $n_j,j=1,2,\cdots,n$ nj,j=1,2,⋯,n，故算法描述如下：

输入：线性可分的数据集 $T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\}$ T={(x1,y1),(x2,y2),⋯,(xn,yn)}，其中 $x_i \in X,y_i \in \{+1,-1\},i=1,2,\cdots,n$ xi∈X,yi∈{+1,−1},i=1,2,⋯,n；学习率 $\eta(0\lt\eta\le1)$ η(0<η≤1)
输出： $\alpha$ α和 $b$ b；感知机模型 $f(x)=\displaystyle sign(\sum_{j=1}^n n_j \eta x_j y_j \cdot x+\sum_{j=1}^n n_j \eta y_j)=sign(\sum_{j=1}^n \alpha_j x_j y_j \cdot x+b)$ f(x)=sign(j=1∑nnjηxjyj⋅x+j=1∑nnjηyj)=sign(j=1∑nαjxjyj⋅x+b)，其中 $\alpha=(\alpha_1,\alpha_2,\cdots,\alpha_n)^T$ α=(α1,α2,⋯,αn)T
（1） $\alpha=0,\quad b=0$ α=0,b=0；
（2）在训练集中选取数据 $(x_i,y_i)$ (xi,yi)；
（3）如果 $\displaystyle J= - y_i(\sum_{j=1}^n \alpha_j y_j x_j \cdot x_i+b) \ge 0$ J=−yi(j=1∑nαjyjxj⋅xi+b)≥0（单样本损失函数，本质上是每次 $n_i=n_i+1$ ni=ni+1）
$\begin{aligned} \alpha_i&=\alpha_i+\eta \\ b&=b+\eta y_i \end{aligned}$ αib=αi+η=b+ηyi（4）转至（2）直至没有误分类数据

ice Alex 发布了10 篇原创文章 · 获赞 5 · 访问量 287 私信关注

标签：yi,yj,sign,感知机,xi,超平面
来源： https://blog.csdn.net/dreaming_coder/article/details/104070438

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9