标签：似然 函数 极大 theta 概率论 hat ldots

目录

• 极大似然估计
• 一、最大似然原理
• 二、极大似然估计
• 三、似然函数
• 四、极大似然函数估计值
• 五、求解极大似然函数
  • 5.1 未知参数只有一个
  • 5.2 位置参数有多个
  • 5.3 总结

极大似然估计

一、最大似然原理

二、极大似然估计

极大似然估计是建立在最大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。通过观察若干次实验的结果，利用实验结果得到某个参数值能够使样本出现的概率最大，则称为极大似然估计。

简而言之，极大似然估计的目的是利用已知的样本结果，反推最有可能导致这样结果的参数值。

三、似然函数

假设一个样本集\(D\)的\(n\)个样本都是独立同分布的，并且该样本集为

\[D={x_1,x_2,\ldots,x_n} \]

似然函数（likelihood function）：联合概率密度函数\(p(D|\theta)\)称为相对于\({x_1,x_2,\ldots,x_n}\)的\(\theta\)的似然函数。

\[l(\theta) = p(D|\theta) = p(x_1,x_2,\ldots,x_n|\theta) = \prod_{i=1}^n p(x_i|\theta) \]

四、极大似然函数估计值

如果\(\hat{\theta}\)是\(\theta\)参数空间中能使似然函数\(l(\theta)\)最大的\(\theta\)值，则\(\hat{\theta}\)是最可能的参数值，那么\(\hat{\theta}\)是\(\theta\)的最大似然估计量，记作

\[\hat{\theta} = d(x_1,x_2,\ldots,x_n) = d(D) \]

并且\(\hat{\theta}(x_1,x_2,\ldots,x_n)\)称作极大似然函数估计值。

五、求解极大似然函数

给出求解最大\(\theta\)值的公式

\[\hat{\theta} = arg \underbrace{max}_\theta l(\theta) = arg \underbrace{max}_\theta \prod_{i=1}^n p(x_i|\theta) \]

为了方便计算，定义对数似然函数\(H(\theta)\)，即对似然函数求对数

\[H(\theta) = \ln{l(\theta)} \]

因此求最大\(\theta\)值的公式变成了

\[\hat{\theta} = arg \underbrace{max}_\theta H(\theta) = arg \underbrace{max}_\theta \ln{l(\theta)} = arg \underbrace{max}_\theta \prod_{i=1}^n \ln{p(x_i|\theta)} \]

并且可以发现公式中只有一个变量\(\theta\)

5.1 未知参数只有一个

如果\(\theta\)为标量，在似然函数满足连续、可微的情况下，则极大似然估计量是下面微分方程的解

\[{\frac{dH(\theta)}{d\theta}} = {\frac{d\ln{l(\theta)}}{d\theta}} = 0 \]

5.2 位置参数有多个

如果\(\theta\)为\(k\)维向量，可以把\(\theta\)记作\(\theta = [\theta_1,\theta_2,\ldots,\theta_k]^T\)，对\(\theta_1,\theta_2,\ldots,\theta_k\)求梯度，可得

\[\Delta_\theta=[{\frac{\partial}{\partial_{\theta_1}}},{\frac{\partial}{\partial_{\theta_2}}},\cdots,{\frac{\partial}{\partial_{\theta_s}}}]^T \]

如果似然函数满足连续、可导的情况下，则最大似然估计量就是如下方程的解：

\[\Delta_\theta{H(\theta)} = \Delta_\theta\ln{l(\theta)} = \sum_{i=1}^n \Delta_\theta \ln(p(x_i|\theta)) = 0 \]

5.3 总结

方程的解只是一个估计值，只有在样本趋于无限多的时候，才会逐渐接近真实值。

标签：似然,函数,极大,theta,概率论,hat,ldots
来源： https://blog.51cto.com/u_13804357/2712095

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。