标签：编码 特征 独热 维度 类别 编码方式 取值

目录

1. 什么是类别型特征？

2. 处理类别型特征的编码方式有哪几种？

 2.1 序号编码

2.2 独热编码

2.2.1对于类别取值比较多的情况下，使用独热编码注意以下问题：

2.3 二进制编码

3除了这些编码还有哪些？

---

 1. 什么是类别型特征？

类别型特征（Categorical Feature）主要指的是性别（男、女）、血型（A、B、AB、O）等只在有限选项内取值的特征。

类别型特征原始输入通常是字符串变量，除了决策树等少数模型能够直接处理字符串形式输入，对于逻辑回归、支持向量机模型而言，类别型特征必须经过处理转换成数值型特征才能正确工作。

2. 处理类别型特征的编码方式有哪几种？

1. 序号编码（Ordinal Encoding）
2. 独热编码（One-hot Encoding）
3. 二进制编码（Binary Encoding）

 2.1 序号编码

序号编码通常是处理具有大小关系的数据。

例如成绩：分为高、中、低，并且存在排序关系，这样编码赋值后，比如高3，中2，低1转换后依然保证了大小关系。

2.2 独热编码

独热编码用于处理类比之间不具有大小关系的特征。

比如血型4种（A、B、AB、O）；独热编码会把血型变成一个4维稀疏向量

A（1,0,0,0）、B（0,1,0,0）、AB（0,0,1,0）、O（0,0,0,1）

2.2.1对于类别取值比较多的情况下，使用独热编码注意以下问题：

（1）使用稀疏 向量来节省空间。独热编码下，特征向量只有某一维取值1，其他位置取值为0；这样可以有效节省空间，并且现在大部分算法均接受稀疏向量形式的输入

（2）配合特征选择来降低维度。高维度特征会带来几方面问题：一是K邻近算法中，高维度空间亮点之间的距离很难得到有效衡量；二是在逻辑回归 模型中，参数的数量会随着维度的增高而增加，容易引起过拟合；三是通常只有部分维度对分类、预测有帮助，因此可以考虑配合特征选择降低维度

2.3 二进制编码

 二进制编码主要 分两步，选用序号编码给每个类别赋予一个类别ID， 然后将类别ID对应的二进制编码作为结果。

3除了这些编码还有哪些？

• Helmert Contrast
• Sum Contrast
• Polynomial Contrast
• Backward Difference Contrast

 

标签：编码,特征,独热,维度,类别,编码方式,取值
来源： https://blog.csdn.net/qq_15698613/article/details/96008250

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。