标签：吴恩达 遍历 15 梯度 下降 小批量 随机 学习网 数据

大规模机器学习-学习大数据集

数据越多，自然训练效果越好，在训练过程中，过拟合与欠拟合的指标通过绘图确定，据此调整超参数。

在此前的批梯度下降法的过程中，当数据集过大时候，由于如下计算式子中要求遍历所有数据得到一次更新，其计算成本过于昂贵。因此，如果裁剪数据集的大小，如果也能够达到相同的训练效果，则不需要使用原始数据集。

 

 

随机梯度下降

随机梯度下降，将数据进行随机洗牌，然后在更新theta参数时，只使用其中一个样本。训练时重复遍历样本多次，最终结果仍然会收敛到一个较好的局部最优。

    

 

小批量梯度下降

小批量梯度下降，介于批梯度下降和随机梯度下降之间。当样本数量m=1000时，而小批量数量b=10，则有如下算法。其中i 进行遍历到数据集末尾m-b+1，计算梯度过程中求均方差过程求导以后使用的除数为b，遍历的小批量为i+b-1。

 

随机梯度下降收敛

收敛性检查，使用的批梯度下降方法和随机梯度下降方法如下图，批梯度下降方案过于耗时，而随机梯度下降，通过收集一定步数的cost值，然后求得平均，得到一个近似的误差J，作为参考，通过绘图，用于判断梯度下降的效果，模型是否错误等。

 

 另外，梯度下降过程中的学习率alpha，可以随着迭代次数的增大而减小，但是其额外引入的两个超参数又是一个问题。

 

 

在线学习

在线学习基本使用的是随机梯度下降的方案吧，因为数据集是实时更新的，所以在如下的包裹运送示例中，当用户做出一次决定，则产生一个或者一批的数据量，将这些数据进行学习，并丢弃数据，循环往复，获得一个动态的定价模型，以最大化购买量（收益吧）。

 

 

映射化简和数据并行

该部分的主要思想是，将一个小批量的数据（如400），分为数份（如4份），分别通过数个机器（如4个），计算梯度值，然后将所有的计算结果，结合到一个模型中，以加速神经网络的训练过程。

一些高级的函数库也已经能够使用单个机器多CPU的方案，也就是并行化在一个多核的机器上运行，以加速训练过程。

 

标签：吴恩达,遍历,15,梯度,下降,小批量,随机,学习网,数据
来源： https://www.cnblogs.com/bai2018/p/13050457.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。