ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Gibbs sampling

2021-01-03 11:02:38  阅读:244  来源: 互联网

标签:xj 采样 变量 样本 sampling 分布 Gibbs 分量


吉布斯采样适用于条件分布比边缘分布更容易采样的多变量分布。假设我们需要从联合分布 {\displaystyle p(x_{1},\dots ,x_{n})}中抽取{\displaystyle \mathbf {X} =(x_{1},\dots ,x_{n})}{\displaystyle \left.k\right.}个样本。记第i个样本为{\displaystyle \mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)}。吉布斯采样的过程则为:

  1. 确定初始值{\displaystyle \mathbf {X} ^{(1)}}
  2. 假设已得到样本{\displaystyle \mathbf {X} ^{(i)}},记下一个样本为{\displaystyle \mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)}。于是可将其看作一个向量,对其中某一分量{\displaystyle x_{j}^{(i+1)}},可通过在其他分量已知的条件下该分量的概率分布来抽取该分量。对于此条件概率,我们使用样本{\displaystyle \mathbf {X} ^{(i+1)}}中已得到的分量{\displaystyle x_{1}^{(i+1)}}{\displaystyle x_{j-1}^{(i+1)}}以及上一样本{\displaystyle \mathbf {X} ^{(i)}}中的分量{\displaystyle x_{j+1}^{(i)}}{\displaystyle x_{n}^{(i)}},即{\displaystyle p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)}
  3. 重复上述过程k次。

在采样完成后,我们可以用这些样本来近似所有变量的联合分布。如果仅考虑其中部分变量,则可以得到这些变量的边缘分布。此外,我们还可以对所有样本求某一变量的平均值来估计该变量的期望。

 

 

现有有一个n维联合分布,Gibbs sampling就是解决从中抽样的问题的。

  • 先初始化第一个样本X1

  • 假设现在要抽样Xi(x1,...,xj,...,xn),轮到了xj,并且前面x1到xj-1已经确定

  • 根据p(xj|当前的x1~xj-1,上一轮的xj+1~xn)分布来确定Xi的xj

  • 回到第2步

标签:xj,采样,变量,样本,sampling,分布,Gibbs,分量
来源: https://www.cnblogs.com/war1111/p/14224974.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有