什么是最大似然估计(MLE)
最大似然估计(Maximum Likelihood Estimation)是一种可以生成拟合数据的任何分布的参数的最可能估计的技术。它是一种解决建模和统计中常见问题的方法——将概率分布拟合到数据集。
例如,假设数据来自泊松(λ)分布,在数据分析时需要知道λ参数来理解数据。这时就可以通过计算MLE找到给定数据的最有可能的λ,并将其用作对参数的良好估计。
MLE是用于拟合或估计数据集概率分布的频率法。这是因为MLE从不计算假设的概率,而贝叶斯解会同时使用数据和假设的概率。MLE假设在计算方法之前,所有的解决方案(分布的参数)都是等可能的,而贝叶斯方法(MAP)不是这样,它使用了关于分布参数的先验信息。
MLE之所以有效,是因为它将寻找数据分布的参数视为一个优化问题。通过最大化似然函数,找到了最可能的解。
理解似然函数
顾名思义,最大似然估计是通过最大化似然函数来计算的。(从技术上讲,这不是找到它的唯一方法,但这是最直接的方法)。
似然函数是衡量样本成为观察到数据的概率。
如果数据集有1-n个独立同分布的(iid)随机变量,X₁至Xₙ,与观察到的数据 x₁ 到 xₙ 相关,我们就有似然函数的数学表达式:
这可以很好地概念化似然函数——但是我们如何将其分解为可以从数据中计算出来的东西呢?换句话说,我们怎样才能找到最大化我们的似然函数的θ,并且确认他是最大化的?
给定
那么
因为所有随机变量作为观察数据值的概率等于每个随机变量作为每个数据值的概率(因为它们是独立同分布的)。
最后,如果数据来自的分布具有密度函数 f(x),例如泊松分布,
完整路径
https://avoid.overfit.cn/post/7c8d4ccce5ba4c00bac91cdb335796df
标签:似然,函数,MLE,入门教程,估计,参数,数据 来源: https://www.cnblogs.com/deephub/p/16652021.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。