线性回归
(1)目标
预测函数:
即
学得w和b后,模型就可以确定。
(2)一维情形
先假设输入特征只有一维。
,
使用均方差当做损失函数,最小化均方差,也就是最小二乘法。
求最小化均方差时的w和b,分别对上式w和b求导,使导数为0,即得到所求w*和b*。
(3)推广到多维
现在考虑多维特征。
把数据集D表示为一个矩阵X:
此时,使用最小二乘法:
令导数为0,解得:
实际计算中求以上矩阵计算量很大,因此常使用梯度下降法。二维情况下,函数变换最快的方向是斜率方向,多维情况下偏导就成为梯度,每次往负梯度方向走一步。
逻辑回归
逻辑回归用于分类,在线性回归的基础上使用一个函数使得预测值与标记值联系起来。该函数需要连续可微,一般使用sigmoid函数。
损失函数方面,线性回归的损失函数为平方损失函数,如果将其用于逻辑回归的损失函数,后续讨论的优化问题会变成非凸的,难以用梯度下降法求最优。因此逻辑回归使用负对数似然函数(交叉熵),它表示两个概率模型之间的相似度。
推导使用极大似然法,我们要得到w和b,最大化它的似然函数,以w为例:
其中,f(x)在sigmoid之后就是代表概率,因此:
所以
代入 L(w) 得:
对 L(w) 取对数得到对数似然函数(是因为(0,1)的小数连乘容易下溢导致结果为0):
我们要最大化 l(w),相当于最小化负 l(w),即它的损失函数。
这个损失函数是高阶可导连续的凸函数,根据凸优化理论可以通过梯度下降法、牛顿法等方法求得最优解。
标签:似然,逻辑,函数,梯度,回归,损失,线性 来源: https://www.cnblogs.com/sumuyi/p/12827700.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。