标签：似然 log argmin 残差 数值 delta sigma 二乘
数值计算之 最小二乘与极大似然估计
前言
在别的博客上发现了一个比较有趣的看法，就是从概率的角度上把最小二乘法与极大似然估计联系起来。这里记录一下。
最小二乘法
假设我们使用 f ( x ) f(x) f(x)对系统的观测数据 ( x 1 , y 1 ) , … , ( x n , y n ) (x_1,y_1),\dots,(x_n,y_n) (x1,y1),…,(xn,yn)进行建模，建模结果与观测数据必然存在误差（也叫残差 δ \delta δ）。
最小二乘法就是通过调整模型
f
(
x
)
f(x)
f(x)的参数，使残差最小化：
arg min
f
(
x
)
∑
i
=
1
n
(
f
(
x
i
)
−
y
i
)
2
=
arg min
f
(
x
)
∑
i
=
1
n
δ
i
2
\argmin_{f(x)} \sum_{i=1}^n (f(x_i)-y_i)^2=\argmin_{f(x)} \sum_{i=1}^n \delta_i^2
f(x)argmini=1∑n(f(xi)−yi)2=f(x)argmini=1∑nδi2
残差建模
如果模型
f
(
x
)
f(x)
f(x)能够很好的描述系统，则观测数据与预测数据的差值应当是类似于白噪声一样的随机误差（偶然误差）。可以将残差
δ
\delta
δ建模为高斯分布：
δ
∼
N
(
0
,
σ
2
)
p
(
δ
)
=
1
2
π
σ
exp
(
−
δ
2
2
σ
2
)
\delta \sim N(0, \sigma^2) \\ p(\delta)=\frac {1}{\sqrt{2\pi }\sigma}\exp (-\frac{\delta^2}{2\sigma^2}) \\
δ∼N(0,σ2)p(δ)=2π
σ1exp(−2σ2δ2)
极大似然估计
由于观测残差是独立的，因此其联合概率密度可表示为：
∏
i
=
1
n
p
(
δ
i
)
=
(
1
2
π
σ
)
n
exp
(
−
∑
i
=
1
n
δ
i
2
2
σ
2
)
\prod_{i=1}^n p(\delta_i) = (\frac {1}{\sqrt{2\pi }\sigma})^n\exp (-\frac{\sum_{i=1}^n\delta_i^2}{2\sigma^2})
i=1∏np(δi)=(2π
σ1)nexp(−2σ2∑i=1nδi2)
从概率的角度来看，最优模型
f
(
x
)
f(x)
f(x)要使得残差出现的概率最大。这就是极大似然估计：
arg max
δ
i
∏
i
=
1
n
p
(
δ
i
)
\argmax_{\delta_i} \prod_{i=1}^n p(\delta_i)
δiargmaxi=1∏np(δi)
取上式的负对数：
−
log
∏
i
=
1
n
p
(
δ
i
)
=
n
log
(
2
π
σ
)
+
∑
i
=
1
n
δ
i
2
2
σ
2
arg min
δ
i
(
n
log
(
2
π
σ
)
+
∑
i
=
1
n
δ
i
2
2
σ
2
)
i
.
e
.
arg min
δ
i
∑
i
=
1
n
δ
i
2
-\log\prod_{i=1}^n p(\delta_i) = n\log({\sqrt{2\pi}\sigma}) +\frac{\sum_{i=1}^n\delta_i^2}{2\sigma^2} \\ \argmin_{\delta_i} (n\log({\sqrt{2\pi}\sigma}) +\frac{\sum_{i=1}^n\delta_i^2}{2\sigma^2}) \\ i.e. \quad \argmin_{\delta_i} \sum_{i=1}^n\delta_i^2
−logi=1∏np(δi)=nlog(2π
σ)+2σ2∑i=1nδi2δiargmin(nlog(2π
σ)+2σ2∑i=1nδi2)i.e.δiargmini=1∑nδi2
这就把极大似然估计与最小二乘法联系了起来。
标签：似然,log,argmin,残差,数值,delta,sigma,二乘 来源： https://blog.csdn.net/qq_41035283/article/details/121640171
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。