标签：10 xi frac 记作 yj 概率 理清 概率论 我们

1.引言

本人的研究方向是机器人无序分拣，在做项目的时候深感自己基础知识薄弱。新冠肺炎闭关在家，自修斯坦福大学机器视觉程CS131a以提高自己的理论基础。但是有些内容自学起来还是比较的吃力的，苦苦寻求解决方法，找到参考书目《模式识别与机器学习》一书，感觉之前的很多问题豁然开朗。遂将书中的一些主要思路记录在此。

2.模式识别与概率论

在模式识别领域一个关键的概念就是不确定性的概念，概率论提供了一个合理的框架，用来对不确定性进行量化和计算。概率论的内容本身而言其实要比高数简单，但是国内教材的晦涩难懂的语言自己理解起来相对的吃力（其实是自己智商不够理解不了语言之中蕴含的严密逻辑），利用书中的例子对概率论基本概念进行一个通俗的讲解。

3.实例

现在假设我们随机选择一个盒子，从这个盒子中我们随机选择一个球，观察一下选择了那种球然后放回盒子中，假设我们有40%的概率选择红盒，60%的概率选择蓝盒，且我们选球的概率是相等的。盒子的颜色是一个随机变量，记作B。这个变量可以取两个值中的一个即r（对应红盒）和b（对应蓝盒）类似地，球的种类也是⼀个随机变量，记作F 。它可以取g（绿色）或者o（橘色）。
开始阶段，我们把⼀个事件的概率定义为事件发⽣的次数与试验总数的⽐值，假设总试验次数趋于⽆穷。因此选择红盒⼦的概率为$\frac{4}{10}$104​，选择蓝盒⼦的概率为$\frac{6}{10}$106​ 。我们把这些概率分布记作p(B = r) =$\frac{6}{10}$106​ 和p(B = b) = $\frac{6}{10}$106​ 。
我们现在可以问这样的问题：选择到绿球的整体概率是多少？或者，假设我们选择了橘色球，我们选择的盒⼦是蓝盒⼦的概率是多少？我们可以回答这种问题，事实上也可以回答与模式识别相关的⽐这些复杂得多的问题。前提是我们掌握了概率论的两个基本规则：加和规则（sumrule）、乘积规则（product rule）。获得了这些规则之后，我们将重新回到我们的小球盒⼦的例⼦中。

4.概率论基本规则

为了推导这两个基本原则并得到更一般的情形，涉及到两个随机变量X和Y （例如可以是上⾯例⼦中“盒⼦”和“小球”的随机变量）。我们假设X可以取任意的xi，其中i = 1;…; M，并且Y 可以取任意的yj，其中j = 1; …; L。考虑N次试验，其中我们对X和Y 都进⾏取样，把X = xi且Y = yj的试验的数量记作nij。并且，把X取值xi（与Y 的取值⽆关）的试验的数量记作ci，类似地，把Y 取值yj的试验的数量记作rj。
X取值xi且Y 取值yj的概率被记作p(X = xi; Y = yj)，被称为X = xi和Y = yj的联合概率（joint probability）。它的计算⽅法为落在单元格i; j的点的数量与点的总数的⽐值，
即：p(X = xi; Y = yi) = $\frac{nij}{N}$Nnij​ 。 （1）

这 ⾥ 我 们 隐 式 地 考 虑 极 限N ! 1。 类 似 地， X取 值xi（与Y 取 值 ⽆ 关） 的 概 率 被 记作p(X = xi)，计算⽅法为落在列i上的点的数量与点的总数的⽐值，
即：p(X = xi) = $\frac{ci}{N}$Nci​ （2）
由于图2中列i上的实例总数就是这列的所有单元格中实例的数量之和，我们有ci=$\sum_{j=1} n_{ij}$∑j=1​nij​我们有，因此根据公式（1）和公式（2），
我们有：p(X = xj) =$\sum_{j=1}^{L} p(X=x_i,Y=y_i)$∑j=1L​p(X=xi​,Y=yi​) (3)
这 是 概 率 的加 和 规 则 （sum rule）。 注 意， p(X = xi)有 时 被 称 为 边 缘 概 率 （marginal probability），因为它通过把其他变量（本例中的Y ）边缘化或者加和得到。如果我们只考虑那些X = xi的实例，那么这些实例中Y = yj的实例所占的⽐例被写成p(Y = yj | X = xi)，被称为给定X = xi的Y = yj的条件概率（conditional probability）。它的计算⽅式为：计算落在单元格i，j的点的数量列i的点的数量的⽐值，
即：p(Y = yj | X = xi)= $\frac{nij}{ci}$cinij​（4）
根据公式（1）、（2）、（4），我们可以推导出下面的关系式：
p(X = xi; Y = yj) =$\frac{nij}{N}=\frac{nij}{ci}=\frac{ci}{N}$Nnij​=cinij​=Nci​=p(Y = yj | X = xi)p(X = xi)(5)
这被称为概率的乘积规则（product rule）。到现在为⽌，我们相当仔细地区分随机变量（例如上述例⼦中的盒⼦B）和随机变量可以取的值（例如盒⼦是红⾊时取值为r）。因此B取值为r的概率被记作p(B = r)。虽然这种记法避免了歧义性，这种记号相当笨拙，并且在很多情况下没有必要。相反，我们简单地⽤p(B)表⽰随机变量B的分布， p®表⽰这个分布对于特定的值r的估计，假定这种表达⽅式在给定上下⽂的情况下不会造成歧义。
使⽤这种简洁的记法，我们可以⽤下⾯的形式表⽰概率论的两条基本规则：
sum rule: p(X) = $\sum_{Y}{p(X,Y)}$∑Y​p(X,Y)(6)
product rule: p(X，Y ) = p(Y|X)p(X)（7）
这⾥p(X， Y )是联合概率，可以表述为“X且Y 的概率”。类似地， p(Y|X)是条件概率，可以表述为“给定X的条件下Y 的概率”， p(X)是边缘概率，可以简单地表述为“X的概率”。
最后，如果两个变量的联合分布可以分解成两个边缘分布的乘积，即p(X|Y ) = p(X)p(Y )，那么我们说X和Y 相互独立（independent）。根据乘积规则，我们可以得到p(Y|X) = p(Y )，因此对于给定X的条件下的Y 的条件分布实际上独⽴于X的值。例如，在我们的小球盒⼦的例⼦中，如果每个盒⼦包含同样⽐例的绿球和橘球，那么p(F|B) = P (F)，从⽽选择苹果的概率就与选择了哪个盒⼦⽆关。

• 点赞
• 收藏
• 分享
• • 文章举报

三维立体视觉点云处理 发布了2 篇原创文章 · 获赞 1 · 访问量 81 私信 关注

标签：10,xi,frac,记作,yj,概率,理清,概率论,我们
来源： https://blog.csdn.net/weixin_42304632/article/details/104456012

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。