LDA线性判别分析原理及python应用（葡萄酒案例分析）=好好的学习

2020-08-17 02:31:18 阅读：474 来源： 互联网

标签：qq LDA python txc 判别分析 product products https com

目录
线性判别分析（LDA）数据降维及案例实战
　　一、LDA是什么
　　二、计算散布矩阵
　　三、线性判别式及特征选择
　　四、样本数据降维投影
　　五、完整代码
　　结语

一、LDA是什么

LDA概念及与PCA区别

LDA线性判别分析（Linear Discriminant Analysis）也是一种特征提取、数据压缩技术。在模型训练时候进行LDA数据处理可以提高计算效率以及避免过拟合。它是一种有监督学习算法。
与PCA主成分分析（Principal Component Analysis）相比，LDA是有监督数据压缩方法，而PCA是有监督数据压缩及特征提取方法。PCA目标是寻找数据集最大方差方向作为主成分，LDA目标是寻找和优化具有可分性特征子空间。其实两者各有优势，更深入详细的区分和应用等待之后的学习，这里我仍然以葡萄酒数据集分类为案例记录原理知识的学习和具体实现步骤。
对比我之前记录的PCA请看：PCA数据降维原理及python应用（葡萄酒案例分析）

LDA内部逻辑实现步骤

标准化d维数据集。
计算每个类别的d维均值向量。
计算跨类散布矩阵和类内散布矩阵 .
线性判别式及特征计算。
按特征值降序排列，与对应的特征向量成对排序。
选择最具线性判别性的前k个特征，构建变换矩阵.
通过变换矩阵将原数据投影至k维子空间。

二、计算散布矩阵
1、数据集下载
下载葡萄酒数据集wine.data到本地，或者到时在加载数据代码是从远程服务器获取，为了避免加载超时推荐下载本地数据集。
下载之后用记事本打开wine.data可见得，第一列为葡萄酒数据类别标签，共有3类，往后的13列为特征值。

代码实现：

三、线性判别式及特征选择
LDA其他步骤与PCA相似，但是，PCA是分解协方差矩阵提取特征值，LDA则是求解矩阵得到广义特征值，实现：

计算广义特征值

eigen_vals, eigen_vecs = np.linalg.eig(np.linalg.inv(Sw).dot(Sb))
eigen_pairs = [(np.abs(eigen_vals[i]), eigen_vecs[:, i]) for i in range(len(eigen_vals))]
eigen_pairs = sorted(eigen_pairs, key=lambda k: k[0], reverse=True)

对特征值降序排列之后，打印看看：

标签：qq,LDA,python,txc,判别分析,product,products,https,com
来源： https://www.cnblogs.com/whathell/p/13515405.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

LDA线性判别分析原理及python应用（葡萄酒案例分析）=好好的学习

计算广义特征值