首页 > 其他分享> 文章详细

【机器学习】逻辑回归

2022-02-04 18:35:53 阅读：181 来源： 互联网

标签：逻辑机器函数回归正则拟合代价

上一篇：【机器学习】线性回归（超详细）

逻辑回归属于监督学习里的分类问题，所谓“分类”，指的是：因变量y取值为离散的情况，一般取值为0或1.这决定了逻辑回归算法中的一个比较重要的性质：它的输出值永远在0到1之间。所以，我们的假设函数就不能和线性回归的假设函数一样，而需要重新定义。

逻辑回归的假设函数

逻辑回归的假设函数： $h_{\theta }(x)=g(\theta ^{T}x)=g(z)=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-\theta ^{T}x}}$

对模型的理解： $g(z)=\frac{1}{1+e^{-z}}$

$h_{\theta }(x)$ 的作用是：对于给定的输入变量，根据选择的参数计算输出变量=1的可能性。即 $h_{\theta }(x)$ 带有一定的概率含义。

例如，对于给定的x，通过已知的参数计算出 $h_{\theta }=0.7$ ,则表示有70%的概率y为1.

决策边界

我们对决策边界概念的理解能够更好的帮助我们理解逻辑回归的假设函数在计算什么。下面讲决策边界的概念：

在逻辑回归中，我们预测：

当 $h_{\theta }(x)>=0.5$ 时，预测y=1.

当 $h_{\theta }(x)<0.5$ 时，预测y=0.

根据上面绘制的图像，我们知道：

当z>=0时，g(z)>=0.5

当z<0时，g(z)<0.5

又因为 $z=\theta ^{T}x$ ,即

$\theta ^{T}x>=0$ 时，预测y=1.

$\theta ^{T}x<0$ 时，预测y=0.

举个例子：

大于这条线的部分预测y=0,小于这条线的部分预测y=0. 这条线就叫做决策边界。

代价函数

对于线性回归，我们知道它的代价函数为： $J(\theta )=\frac{1}{2m}\Sigma _{i=1}^{m}(h_{\theta }x^{(i)}-y^{(i)})^{2}$ ,我们可以对其进行梯度下降求最小值。其中可以用梯度下降最根本的原因在于它是一个凸函数，如下图所示

在逻辑回归中，如果还用和线性回归一样的代价函数的话，是求不到全局的最小值的，只能求到局部的最小值。这是因为，逻辑回归的假设函数变成了 $h_{\theta }(x)=g(\theta ^{T}x)=g(z)=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-\theta ^{T}x}}$ 。将其带入 $J(\theta )=\frac{1}{2m}\Sigma _{i=1}^{m}(h_{\theta }x^{(i)}-y^{(i)})^{2}$ 可得到它的图像为:

由此我们知道，我们需要重新定义逻辑回归的代价函数。且这个代价函数一定是一个凸函数。

所以，逻辑回归的代价函数有如下定义： $J(\theta )=\frac{1}{m}\Sigma _{i=1}^{m}cost(h_{\theta }(x^{(i)}),y^{(i)})$

这样构建 $cost(h_{\theta }(x^{(i)}),y^{(i)})$ 函数的特点是：当实际的

标签：逻辑,机器,函数,回归,正则,拟合,代价
来源： https://blog.csdn.net/weixin_51781852/article/details/122767599

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

【机器学习】逻辑回归

逻辑回归的假设函数

决策边界

代价函数