机器学习基础：特征分解，奇异值分解

2021-02-24 23:31:20 阅读：191 来源： 互联网

一、特征分解

1、特征向量

对于一个方阵（行数和列数相等的矩阵） A A A，特征向量就是指与 A A A相乘的一个非零向量 ν \nu ν 等于这个非零向量的缩放，即 A ν = λ ν A\nu=\lambda\nu Aν=λν其中， λ \lambda λ称为特征值， ν \nu ν称为特征向量。在线性代数中，通常使用变换式： ( A − λ I ) ν = 0 (A-\lambda I)\nu=0 (A−λI)ν=0

2、特征分解

1、定义：将矩阵分解成一组特征向量和特征值。

2、特征分解：
*****假设矩阵 A A A 的特征向量是 { ν ( 1 ) , ⋯ , ν ( n ) } \{\nu^{(1)},\cdots,\nu^{(n)} \} {ν(1),⋯,ν(n)}，对应的特征值为 { λ 1 , ⋯ , λ n } \{\lambda_1,\cdots,\lambda_n\} {λ1,⋯,λn}。
*****令矩阵 V = [ ν ( 1 ) , ⋯ , ν ( n ) ] V= [\nu^{(1)},\cdots,\nu^{(n)}] V=[ν(1),⋯,ν(n)]，其中，每一列为一个特征向量；
*****令向量 λ = [ λ 1 , ⋯ , λ n ] \lambda = [\lambda_1,\cdots,\lambda_n] λ=[λ1,⋯,λn]，其中，每一个元素为一个特征值；
特征分解记作： A = V d i a g ( λ ) V − 1 A=Vdiag(\lambda)V^{-1} A=Vdiag(λ)V−1 其中， d i a g diag diag表示的是对角矩阵

3、不是每一个矩阵都可以被分解，但是每个实对称矩阵都可以被分解成为特征向量和实特征值：
A = Q Λ Q − 1 A=Q\Lambda Q^{-1} A=QΛQ−1 其中， Q Q Q是 A A A的特征向量组成的正交矩阵， Λ \Lambda Λ是对角矩阵。

4、有时候，特征分解也不是唯一的，我们通常按照降序排列 L a m b d a Lambda Lambda的元素，在这个约束下，特征分解唯一

3、正定、半正定、负定、半负定

1、正定：所有特征值都是整数的矩阵
2、半正定：所有特征值都是非负数的矩阵
3、负定：所有矩阵都是负数的矩阵
4、半负定：所有矩阵都是非正数的矩阵
5、对于半正定矩阵，有以下规律，这也是它受到重视的原因：
∀ x , x T A x ≥ 0 \forall x,x^T Ax\geq0 ∀x,xTAx≥0对于正交矩阵，还有 x T A x = 0 ⟹ x = 0 x^TAx=0\implies x= 0 xTAx=0⟹x=0

二、奇异值分解

1、对于非方阵的矩阵，它是没有特征分解的，所以这个时候我们只能使用奇异值分解。奇异值分解与特征分解类似，它是将矩阵分为奇异向量和奇异值，对于矩阵 A A A，有： A = U D V T A = UDV^T A=UDVT 其中，假设 A A A是一个 m × n m \times n m×n的矩阵，那么 U U U是一个 m × m m \times m m×m的矩阵， D D D是一个 m × n m \times n m×n的矩阵， V V V是一个 n × n n \times n n×n的矩阵。其中， U U U和 V V V是正交矩阵， D D D是对角矩阵（不一定是方阵）。

2、对角矩阵 D D D的对角线上的元素成为矩阵 A A A的奇异值，矩阵 U U U的列向量为左奇异向量，矩阵 V V V的列向量称为右奇异向量

标签：特征值,机器,特征向量,矩阵,分解,奇异,nu,lambda
来源： https://blog.csdn.net/qq_50048105/article/details/114006508