标签：误差 机器 函数 训练 模型 感知机 十讲 第四 神经元

第四讲——模型提升：

　　课程先分析了误差来源：

 

 

 　　f*是通过训练集得到的一个函数，f^是这个空间H中理论最好的函数，而这个训练集背后是由f产生的，也就是说f是最好的函数，f^次之，f*是由训练集D得到的函数，他和空间H中理论最好的f^之间的误差叫做估计误差，f^与f之间的误差，叫做逼近误差。

 

 

 

 

 

 

　　感知机看左边，只是一个简单的线性回归和一个简单的非线性映射；多层感知机看右图，由很多神经元组成（左边那个就可以看为一个神经元），也是多个简单非线性函数的复合；而当感知机很多的时候，神经元很多很多，就叫做深度学习。

　　之后提到了一个重要思想：模型集成：

 

 

 随后分析了模型集成为什么能提高效率：

 

 

 补：其中K是正确的次数，t-k为犯错次数（前提：分类器之间相互独立）

 

　　之后以一个小例子介绍了决策树的概念：

 

 

 

 

 

 

 

 

 

 接下来就是节点不纯度的度量：分为三种方法：（后两种了解即可）

　　第一种Gini指数：

 

 

 生成结果后还可以将下面能分的节点继续分解，继续求值，取最大值。

　　第二种信息熵：

 

 

 

 第三种误分率：

 

 

 之后介绍了随机森林（这是第一种算法模型）：

 

 

 

 

 

 第二种模型：串型的训练

 

 

 AdaBoost的训练误差：

 

 最后就是老师带领着去做了三个实验，以及一些资源的获取方式的介绍。

标签：误差,机器,函数,训练,模型,感知机,十讲,第四,神经元
来源： https://www.cnblogs.com/zhangxinyue/p/14354900.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。