标签：MAP ln over boldsymbol mu 多维 theta Sigma 高斯分布
设观测概率为 \(k\) 维高斯分布 \(\displaystyle p(\boldsymbol x\mid C_i)={1\over (2\pi)^{k\over 2}|\Sigma_i|^{1\over 2}}\exp[-{1\over 2}(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu_i)]\)
则代入 MAP 分类器得到，决策边界为：\(\displaystyle p(\boldsymbol x\mid C_i)p(C_i)\underset{C_j}{\overset{C_i}{\gtrless}} p(\boldsymbol x\mid C_j)p(C_j)\)
两侧取对数整理得到：
\[-\ln|\Sigma_i|+2\ln p(C_i)-(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}-\ln|\Sigma_j|+2\ln p(C_j)-(\boldsymbol x-\boldsymbol \mu_j)^T\Sigma_j^{-1}(\boldsymbol x-\boldsymbol \mu_j) \]进一步整理得到：
\[(\boldsymbol x-\boldsymbol \mu_j)^T\Sigma_j^{-1}(\boldsymbol x-\boldsymbol \mu_j)-(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}2\ln{P(C_j)\over P(C_i)}-\ln{|\Sigma_j|\over |\Sigma_i|} \]当 \(\Sigma_i=\Sigma_j=\theta^{-1}\) 时，代入公式得到：
\[(\boldsymbol x-\boldsymbol \mu_j)^T\theta(\boldsymbol x-\boldsymbol \mu_j)-(\boldsymbol x-\boldsymbol \mu_i)^T\theta(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}2\ln{P(C_j)\over P(C_i)} \]由于 \(\boldsymbol x^T\theta\boldsymbol \mu_j\) 为标量，且 \(\theta\) 为协方差矩阵的逆矩阵，亦满足 \(\theta^T=\theta\)
故 \(\boldsymbol x^T\theta\boldsymbol \mu_j=(\boldsymbol x^T\theta\boldsymbol \mu_j)^T=\boldsymbol \mu_j^T\theta^T\boldsymbol x=\boldsymbol \mu_j^T\theta\boldsymbol x\)
同理展开可得 \((\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta(\boldsymbol \mu_i+\boldsymbol \mu_j)=\boldsymbol \mu_i^T\theta \boldsymbol \mu_i-\boldsymbol \mu_j^T\theta\boldsymbol \mu_j\)
于是可对原式化简得到：
\[(\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta(\boldsymbol x-{\boldsymbol \mu_i+\boldsymbol \mu_j\over 2})\underset{C_j}{\overset{C_i}{\gtrless}}\ln{P(C_j)\over P(C_i)} \]由于 \((\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta\) 为一行向量，记为 \(\boldsymbol w^T\)，则上式化为 \(\boldsymbol w^T\boldsymbol x\underset{C_j}{\overset{C_i}{\gtrless}}\ln{P(C_j)\over P(C_i)}+\boldsymbol w^T\cdot {\boldsymbol \mu_i+\boldsymbol \mu_j\over 2}\)
再记 \(\ln{P(C_j)\over P(C_i)}+\boldsymbol w^T\cdot {\boldsymbol \mu_i+\boldsymbol \mu_j\over 2}=b\) 得到 \(\boldsymbol w^T\boldsymbol x\underset{C_j}{\overset{C_i}{\gtrless}}b\)
很显然判别界面是 \(k\) 维空间上一个 \((k-1)\) 维的超平面；在二维时退化为一条直线。
而当 \(P(C_i)=P(C_j)\) 且 \(\boldsymbol \mu_i=\boldsymbol \mu_j\) 时，上式化简得到：
\[(\boldsymbol x-\boldsymbol \mu)^T(\Sigma_i^{-1}-\Sigma_j^{-1})(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}-\ln{|\Sigma_j|\over |\Sigma_i|} \]该式是一个高维空间的一个曲面
当 \(|\Sigma_i|>|\Sigma_j|\) 时，\(\displaystyle \delta=-\ln{|\Sigma_j|\over |\Sigma_i|}>0\)
而相比于 MICD 分类器的决策边界：
\[(\boldsymbol x-\boldsymbol \mu)^T(\Sigma_i^{-1}-\Sigma_j^{-1})(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}0 \]可以观察到，MAP 分类器相比于 MICD 更倾向于取 \(|\Sigma_i|\) 较小的类，即更紧致的类
标签：MAP,ln,over,boldsymbol,mu,多维,theta,Sigma,高斯分布 来源： https://www.cnblogs.com/JustinRochester/p/16123421.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。