标签：机器 函数 学习 理论知识 吃瓜 DW omega theta 神经元

本篇是针对经典教材《机器学习》及DataWhale小组出版的配套工具书《机器学习公式详解》的学习笔记，主要以查缺补漏为主，因此对于一些自己已经熟悉的概念和内容不再进行整理。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。

第五章 神经网络

---

基本概念

1、假设单个M-P神经元中的第i个输入为\(x_i\)，对应第i个连接权重为\(\omega_i\)，神经元阈值为\(\theta\)，则神经元的输出\(y=f(\sum_{i=1}^{n}\omega_ix_i-\theta)\)。其中f代表激活函数，常用的激活函数包括sigmoid函数、tanh函数及ReLU函数等。

\[sigmoid(x)=\frac{1}{1+e^{-x}} \]

\[tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} \]

\[ReLU(x)=max(0,x) \]

2、单层感知机在预测样例\((x_1,x_2...x_i|y)\)时，输出神经元可以根据输出结果\(\hat{y}\)与真实值\(y\)之间的误差对自身的权重进行调整（其中阈值\(\theta\)也可以看做一个输入恒为-1的权重，因此可以等同处理），如下所示：

\[\omega_i \leftarrow \omega_i+\Delta \omega_i \]

\[\Delta \omega_i = \eta (y-\hat{y})x_i \]

其中\(\eta \in (0,1)\)称为学习率，用于确定每次权重根据误差调整的程度。

3、而对于包含隐藏层的多层神经网络，我们常利用误差反向传播（error BackPropagation，简称BP）算法对网络进行训练和优化。

（未完待续）

参考资料：

1. 《机器学习》 周志华 著
2. 《机器学习公式详解》 谢文睿 秦州 著
3. https://www.bilibili.com/video/BV1Mh411e7VU?p=1 《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集

标签：机器,函数,学习,理论知识,吃瓜,DW,omega,theta,神经元
来源： https://www.cnblogs.com/liugd-2020/p/15219913.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。