标签：似然 机器 logP 贝叶斯 学习 theta Sigma 高斯分布

机器学习（一）
全程跟着白板推到走的，算是一个复习的记录，总共分为三部分
（一）频率派和贝叶斯派
（二）高斯分布
（三）高斯分布的情况例子

频率派和贝叶斯派

频率派认为 θ \theta θ是一个未知的常量，而数据服从于未知的分布，一般利用极大似然的思想来进行求解问题。

θ M L E = a r g m a x Σ i = 1 N l o g P ( X i ∣ θ ) \theta_{MLE}=argmax \Sigma_{i=1}^{N}logP(X_i|\theta) θMLE​=argmaxΣi=1N​logP(Xi​∣θ)

贝叶斯派认为 θ \theta θ服从于一个未知的分布，有 θ − P （ θ ） \theta-P（\theta） θ−P（θ）,这里的 P ( θ ) P(\theta) P(θ)一般被称为先验，而后利用贝叶斯公式和全概率公式来进行先验和后验的一个关系建立
P ( θ ∣ X ) = P ( X ∣ θ ) P ( θ ) P ( x ) P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(x)} P(θ∣X)=P(x)P(X∣θ)P(θ)​

这里如果我们对贝叶斯公式进行似然的分解，可以很容易就得到后验=似然+正则

Σ l o g P ( θ ∣ x ) ∝ Σ l o g P ( X ∣ θ ) + Σ P ( θ ) \Sigma logP(\theta|x) \varpropto \Sigma logP(X|\theta) + \Sigma P(\theta) ΣlogP(θ∣x)∝ΣlogP(X∣θ)+ΣP(θ)

所以可以看成 极 大 后 验 ∝ 极 大 似 然 + 正 则 极大后验 \varpropto 极大似然 + 正则 极大后验∝极大似然+正则

同时，频率派最终会转化为一个优化问题，而贝叶斯则则会转化为积分问题

(二)高斯分布
一维高斯分布
P ( x ) = 1 2 π σ e x p − ( x − μ ) 2 2 σ 2 P(x) = \frac{1}{\sqrt{2\pi}\sigma}exp^{-\frac{(x-\mu)^2}{2\sigma^2}} P(x)=2π ​σ1​exp−2σ2(x−μ)2​

我们假设有 X = ( x 1 , x 2 , x 3 , . . . , x n ) T X = (x_1,x_2,x_3,...,x_n) ^{T} X=(x1​,x2​,x3​,...,xn​)T的数据，每个 x i x_i xi​都服从高斯分布，我们进行一个极大似然来进行参数的估计
L ( θ ) = ∏ i = 1 n P ( x i ) ∝ Σ i = 1 n l o g P ( x i ) L(\theta) = \prod_{i=1}^{n}P(x_i) \\ \varpropto \Sigma_{i=1}^{n}logP(x_i) L(θ)=i=1∏n​P(xi​)∝Σi=1n​logP(xi​)
我们可以得到 μ \mu μ和 σ 2 \sigma^2 σ2的参数估计，其中， μ \mu μ是无偏估计， σ 2 \sigma^2 σ2是有偏估计，估计小了

高维高斯分布
这里主要讨论的是马氏距离，然后利用特征值分解就可以得到

（三）高斯分布的复杂情况
这里计算复杂的话用配方法，不想复杂计算就用视频里面讲的方法

标签：似然,机器,logP,贝叶斯,学习,theta,Sigma,高斯分布
来源： https://blog.csdn.net/weixin_40118989/article/details/120603487

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。