标签：直线 机器 函数 sigmoid -- 曲线 ReLU 批次 基本概念

根据李宏毅老师机器学习课程所做的笔记。

函数y=wx+b，输入与输出之间是一个线性的关系。改变w可以改变直线的斜率，改变b可以改变直线的截距。

 

 

 但是如果想要刻画上图中的红色直线是困难的。这条红色的曲线应该怎么表示呢？

 

 

 红色的曲线可以表示为图中蓝色曲线的和。

蓝色曲线(Hard Sigmoid)的特征是拥有两个转折点threshold1和threshold2，小于threshold1和大于threshold2的部分取一个定值，两个转折点中间是一条线段（一个斜坡）。

 

 

 

 

 

 如果函数的形状不是直线，而是曲线，也可以用直线来近似这条曲线。

怎么表示上面的蓝色直线呢？我们使用sigmoid函数来近似它。c是它的系数。取值范围是(0,c)。

 

 

 

 

 由此，可以使用sigmoid函数的组合来近似我们想要的函数。

以上面的红色曲线为例，将1，2，3这三条曲线用sigmoid函数来表示，b代表直线0。y的表达式如下图所示。

 

 如果有更多的特征输入，y的表达式如下所示。

使用矩阵对公式进行简化。

 

 

 

所有未知的参数都统称为theta。

 

 

 到这里，我们已经定义了含有未知参数的函数，下一步似乎定义损失函数。

 

 

 

 损失函数的定义如下。

 

 

 下面使用梯度下降算法来优化损失函数。

根据求导的结果来更新参数。

 

 

 在进行优化时，对数据分成一个一个批次，每次只拿出一个批次来计算L1，根据这个L1来计算gradient，再用这个gradient更新参数。

下一次，选取下一个批次来计算L2，...，直至所有地批次都计算结束。当所有的批次都参与一次计算后，这个过程成为一个Epoch。

 

 

下面介绍对模型做一些变形的情况。

上面都是用sigmoid组成我们想要的函数，其实也可以用别的函数。Hard sigmoid也可以看成是两个ReLU函数的和。

 sigmoid和ReLU在机器学习中被成为激活函数。一般使用ReLU更多。

 

标签：直线,机器,函数,sigmoid,--,曲线,ReLU,批次,基本概念
来源： https://www.cnblogs.com/xxmrecord/p/15224733.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。