ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

机器学习中的数学原理——矩阵论

2019-05-20 11:48:37  阅读:459  来源: 互联网

标签:gt 机器 矩阵 正定 主子 数学原理 amp AAA


正定矩阵

在线性代数里,正定矩阵 (positive definite matrix) 有时会简称为正定阵。
定义:
AAA是n阶方阵,如果对任何非零向量xxx,都有xTAx>0x^TAx>0xTAx>0,其中xTx^TxT 表示xxx的转置,就称AAA正定矩阵。
性质:

  1. 正定矩阵的行列式恒为正;
  2. 实对称矩阵AAA正定当且仅当AAA与单位矩阵合同;
  3. 两个正定矩阵的和是正定矩阵;
  4. 正实数与正定矩阵的乘积是正定矩阵。

等价命题:
对于n阶实对称矩阵AAA,下列条件是等价的:

  1. AAA是正定矩阵;
  2. AAA的一切顺序主子式均为正;
  3. AAA的一切主子式均为正;
  4. AAA的特征值均为正;
  5. 存在实可逆矩阵C,使A=CTCA=C^TCA=CTC;
  6. 存在秩为n的m×n实矩阵B,使A=BTBA=B^TBA=BTB;
  7. 存在主对角线元素全为正的实三角矩阵R,使A=RTRA=R^TRA=RTR

根据正定矩阵的定义及性质,判别对称矩阵A的正定性有两种方法:

  1. 求出AAA的所有特征值。若AAA的特征值均为正数,则AAA是正定的;若AAA的特征值均为负数,则AAA为负定的。
  2. 计算AAA的各阶顺序主子式。若AAA的各阶顺序主子式均大于零,则AAA是正定的;若AAA的各阶顺序主子式中,奇数阶主子式为负,偶数阶为正,则AAA为负定的。

例: 判断矩阵是否正定
Q=631320104 Q=\begin{matrix} 6 & -3 &1 \\ -3 & 2 & 0\\ 1 & 0 & 4 \end{matrix}Q=6−31​−320​104​

解:对称矩阵Q的三个顺序主子式依次为
6=6>0|6|=6>0∣6∣=6>0

6332=3>0\begin{vmatrix} 6 & -3 \\ -3 & 2\\ \end{vmatrix}=3>0 ∣∣∣∣​6−3​−32​∣∣∣∣​=3>0

631320104=10>0\begin{vmatrix} 6 & -3 &1 \\ -3 & 2 & 0\\ 1 & 0 & 4 \end{vmatrix}=10>0∣∣∣∣∣∣​6−31​−320​104​∣∣∣∣∣∣​=10>0

矩阵Q是正定的

对称正定矩阵

AAA是n阶方阵,A=ATA=A^TA=AT,如果对任何非零向量xxx,都有xTAx>0x^TAx>0xTAx>0,其中xTx^TxT 表示xxx的转置,就称AAA为对称正定矩阵。

半正定矩阵

AAA是实对称矩阵。如果对任意的实非零列向量x有xTAx0xTAx≥0xTAx≥0,就称AAA为半正定矩阵。
对于半正定矩阵来说,相应的条件应改为所有的主子式非负。顺序主子式非负并不能推出矩阵是半正定的。
性质:

  1. 半正定矩阵的行列式是非负的;
  2. 两个半正定矩阵的和是半正定的;
  3. 非负实数与半正定矩阵的数乘矩阵是半正定的。

等价条件:

  1. AAA是半正定的;
  2. AAA的所有主子式均为非负的;
  3. AAA的特征值均为非负的;
  4. 存在n阶实矩阵C,使A=CTCA=C^TCA=CTC;
  5. 存在秩为r的r×n实矩阵B,使A=BTBA=B^TBA=BTB。

直观理解正定、半正定矩阵:
XTMX0X^TMX≥0XTMX≥0
XTY0(Y=MX)X^TY≥0 (Y=MX)XTY≥0(Y=MX)
cos(θ)=XTYXY0cos(\theta)=\frac{X^TY}{||X||∗||Y||}≥0cos(θ)=∣∣X∣∣∗∣∣Y∣∣XTY​≥0
||X||, ||Y||代表向量 X,Y的长度,θ\thetaθ是他们之间的夹角。正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。

应用

在FM分解机中,引入辅助(分解)矩阵时,用到一个结论:当k足够大时,对于任意n*n的对称正定的实矩阵W^\hat{W}W^,均存在n*k的实矩阵,使得W^=VVT\hat{W}=VV^TW^=VVT成立

参考网址:
正定矩阵-百度百科

标签:gt,机器,矩阵,正定,主子,数学原理,amp,AAA
来源: https://blog.csdn.net/vivian_ll/article/details/90371758

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有