标签：函数 模型 神经网络 MLP BP RBF 参数 对比

多种网络

一、RBF神经网络

​ 和BP相比激活函数不同，RBF为径向基函数（如Gaussian），BP为Sigmoid或者Relu函数

​ BP神经网络是对非线性映射的全局逼近

​ RBF神经网络输出与数据中心离输入模式较劲的“局部”隐节点关系较大，具有局部映射的特征。

​ $\gamma$ 是RBF网络的第一个超参数，每个RBF模块可以单独设置一个（一般全局共享）

​ $c_i$ 是RBF网络的第二个超参数，直接从数据集中选取一个数据点 $x_i$ 即可

​ RBF神经网络不需要通过BP计算模型参数（只有最后一个线性层有参数需要计算，由于是线性直接用最小二乘法通过矩阵计算线性拟合即可，不需要用到梯度下降）

结构上，RBF神经网络通常只有三层：

​ 输入层、中间层计算输入 x 矢量与样本矢量 c 欧式距离的 Radial Basis Function (RBF) 的值，输出层算它们的线性组合

​ RBF神经网络训练速度非常快，因为模型的参数都不需要通过梯度下降法求得

​

二、MLP神经网络

​ MLP是多层感知机，神经网络是最基础的原版神经网络

​ 输入层：感知单元(源节点)

​ 隐含层：计算节点

​ 输出层：计算节点的输出

​ 激活函数：f

​ 通过在MLP网络中逐层前馈，得到最终的输出值。

• 神经网络= MLP
• BP神经网络= BP+MLP

​ BP用来求解MLP网络中的系数，严格意义上来讲不是叫BP神经网络，而是使用BP算法优化MLP模型，MLP通过多个隐含层实现非线性函数。

​ MLP和CNN,RNN,Transformer属于同一级别。

​ 目标函数是二次优化，容易收敛到局部最小值

​

三、SVM

​ SVM是支持向量机，不属于神经网络（或者说单隐层神经网络），通过核函数将非线性问题转变为核空间中的线性可分的数据集。

​ SVM是一种基于结构风险最小化准则的学习方法，是一种基于最大边缘的思想，只有少量参数需要调整。

​

​ 目标函数是二次规划，更容易搜索到精确解

标签：函数,模型,神经网络,MLP,BP,RBF,参数,对比
来源： https://www.cnblogs.com/liaozhelin/p/16290597.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。