很长时间一直没有明白真实的含义，十一期间补充一下这方面的知识。
l0 范数是 ||x||0 = xi (xi不等于0)代表非0数字的个数，[1,2,3,4,5] 非0个数为5，[0,1,2,0,3]非0 个数为3
l1范数是||x||1=Σ|xi| x与0之间的曼哈顿距离，[1,2,3,-2,-1] =1+2+3+2+1 =9,为个数字的绝对值的和。
l2范数是||x||2=Σ|xi|^2为x与0之间的欧式距离，[1,2,-3]=1^2+2^2+(-3)^2=1+4+9=14,为各个数字的平方和在开方。
lp范数是||x||p=√∑（xi）^p。控制模型复杂度减少过拟合。一般在损失函数中加入惩罚项。
l1和l2为什么可以减少过拟合。模型复杂就是因为w参数较多，所以模型比较复杂。w=[w1,w2,w3,w4,w5,....,wn]让其中某些为0，某些不为0，那就是l0范数
目标函数为： min J(wxi,y） s.t |w|0<=C 最优问题无法解决。|w|1和|w|2可以限制小于常数C
构造拉格朗日函数 L（w，α） = J（wxi,y）+α(|w|1-C） L（w，α） = J（wxi,y）+α(|w|2-C）=J(wxi;y)+α|w|2-αC=minJ(wxi,y)+α|w|2
如果是二维的话既要最小化损失函数，又要简化后面的惩罚项，当时1范数的时候，当w1，w2是两个坐标所以就是一个斜倒正的正方形可以清晰的看出w1或者w2为0.
当二范数的时候，就是圆和等高线的交集。
标签：xi,l2,w1,l1,范数,wxi 来源： https://www.cnblogs.com/limingqi/p/11621879.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。