标签：Inverse frac mu beta Mixture Gamma alpha gamma

Normal-Inverse Gamma Mixture简介

假设 X ∣ γ ∼ N ( μ , γ ) , γ ∼ I G ( α , β ) X|\gamma \sim N(\mu,\gamma),\gamma \sim IG(\alpha,\beta) X∣γ∼N(μ,γ),γ∼IG(α,β)，称 X X X的分布是Normal-Inverse Gamma Mixture，这个mixture在贝叶斯统计中有非常广泛的应用。

应用一：正态方差的共轭分布
先写出 X , γ X,\gamma X,γ的联合概率密度
p ( X , γ ) ∝ ( γ − 1 / 2 e − ( X − μ ) 2 2 γ ) ( γ − ( α + 1 ) e − β γ ) = γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) p(X,\gamma) \propto \left( \gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2\gamma}} \right) \left( \gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \right) \\ = \gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})} p(X,γ)∝(γ−1/2e−2γ(X−μ)2​)(γ−(α+1)e−γβ​)=γ−(α+23​)e−γ1​(β+2(X−μ)2​)

这是inverse gamma的kernel，于是
γ ∣ X ∼ I G ( α + 1 2 , β + ( X − μ ) 2 2 ) \gamma|X \sim IG(\alpha+\frac{1}{2},\beta+\frac{(X-\mu)^2}{2}) γ∣X∼IG(α+21​,β+2(X−μ)2​)

这说明当总体是正态分布时且均值已知时，逆伽马分布是总体方差的共轭分布。

应用二：构造t分布
我们写出 X , γ X,\gamma X,γ联合概率密度的完整形式
p ( X , γ ) = ( 2 π ) − 1 / 2 γ − 1 / 2 e − ( X − μ ) 2 2 γ β α 1 Γ ( α ) γ − ( α + 1 ) e − β γ = β α 2 π Γ ( α ) γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) p(X,\gamma)=(2\pi)^{-1/2}\gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2 \gamma}}\beta^{\alpha} \frac{1}{\Gamma(\alpha)}\gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})} p(X,γ)=(2π)−1/2γ−1/2e−2γ(X−μ)2​βαΓ(α)1​γ−(α+1)e−γβ​=2π ​Γ(α)βα​γ−(α+23​)e−γ1​(β+2(X−μ)2​)

然后计算 X X X的边缘密度
p ( X ) = ∫ γ > 0 p ( X , γ ) d γ = β α 2 π Γ ( α ) ∫ γ > 0 γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) d γ = β α 2 π Γ ( α ) Γ ( α + 1 2 ) [ β + ( X − μ ) 2 2 ] α + 1 2 = Γ ( α + 1 2 ) 2 β π Γ ( α ) [ 1 + ( X − μ ) 2 2 β ] − 2 α + 1 2 p(X)=\int_{\gamma>0}p(X,\gamma)d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \int_{\gamma>0}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})}d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \frac{\Gamma(\alpha+\frac{1}{2})}{[\beta+\frac{(X-\mu)^2}{2}]^{\alpha+\frac{1}{2}}} \\ = \frac{\Gamma(\alpha+\frac{1}{2})}{\sqrt{2 \beta \pi}\Gamma(\alpha)}\left[ 1+\frac{(X-\mu)^2}{2 \beta} \right]^{-\frac{2\alpha+1}{2}} p(X)=∫γ>0​p(X,γ)dγ=2π ​Γ(α)βα​∫γ>0​γ−(α+23​)e−γ1​(β+2(X−μ)2​)dγ=2π ​Γ(α)βα​[β+2(X−μ)2​]α+21​Γ(α+21​)​=2βπ ​Γ(α)Γ(α+21​)​[1+2β(X−μ)2​]−22α+1​

这是一个具有一般性的式子，但在一些特殊的取值下它就变成了我们熟悉的分布：

1. 取 β = α \beta=\alpha β=α，则这个分布是t分布 t 2 α t_{2 \alpha} t2α​
2. 取 α = β = 1 / 2 \alpha=\beta=1/2 α=β=1/2，这个分布是Cauchy分布 C ( 0 , μ ) C(0,\mu) C(0,μ)

在统计计算中，可以使用这个技巧将t分布或者Cauchy分布的采样替换为Normal-Inverse Gamma mixture的采样。

标签：Inverse,frac,mu,beta,Mixture,Gamma,alpha,gamma
来源： https://blog.csdn.net/weixin_44207974/article/details/115507723

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。