正则化：凡是可以减少泛化误差而不是减少训练误差的方法都是正则化方法。
在神经网络中参有两类，w叫权重，b叫偏置，w（权重）其实是模型里面未知数的系数，其取值情况决定了模型曲线什么样子，b的取值只会改变模型平移情况，L1L2正则化只针对w进行正则化处理。
L1L2是指L1L2范数，范数理解为把”空间中两点的距离“这个概念进行了扩充。
权重w理解为高维的向量也可以理解为是在高维空间中的一个点，如果这个点到原点的距离如果是欧式距离的话那就是L2范数，如图：
L1范数：
神经网络为什么会出现过拟合：
在训练过程中w和b的取值并不是不变的，最后的结果有大有小，在训练集测试集全集中，w和b的大小并不会改变最后的分类结果，但是在应用场景中的图片并不是来自于训练集图片，过大的w和b，与新的图片数据 相乘以后最后得到的是一个比较大的数值，同时误差与噪声在经过大参数相乘以后也会被放大。
所以我们要控制参数，让参数取值不要那么大：
解决方法:人为设定一个参数的取值范围，并且只设定w的范围，b并不考虑
标签：误差,训练,L1L2,正则,拟合,范数,取值 来源： https://www.cnblogs.com/kafukasy/p/15416467.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。