标签：python pandas 离散 df income 区间 datetime 数据 预处理
本文内容：
1 标准化 & 归一化
2 离散化 / 分箱 / 分桶
3 二值化
—————————【 正文 】——————————
1 标准化 & 归一化
导包和数据
import numpy as np
from sklearn import preprocessing
data = np.loadtxt('data.txt', delimiter='\t')
1.1 标准化 （Z-Score）
x'=(x-mean)/std 原转换的数据为x，新数据为x′，mean和std为x所在列的均值和标准差
标准化之后的数据是以0为均值，方差为1的正态分布。
但是Z-Score方法是一种中心化方法，会改变原有数据的分布结构，不适合对稀疏数据做处理。
# 建立 StandardScaler 对象 z_scaler= preprocessing.StandardScaler() # 用 StandardScaler 对象对数据进行标准化处理 z_data = z_scaler.fit_transform(data)
1.2 归一化（Max-Min）
x'=(x-min)/(max-min)，min和max为x所在列的最小值和最大值
将数据规整到 [0，1] 区间内（Z-Score则没有类似区间）
归一化后的数据能较好地保持原有数据结构。
数据中有异常值时，受影响比较大
# 建立MinMaxScaler模型对象 m_scaler = preprocessing.MinMaxScaler() # 使用 MinMaxScaler 对象 对数据进行归一化处理 m_data = m_scaler.fit_transform(data)
2 离散化 / 分箱 / 分桶
离散化，就是把无限空间中有限的个体映射到有限的空间中
导包和数据
import pandas as pd
from sklearn.cluster import KMeans
from sklearn import preprocessing
df = pd.read_table('data1.txt', names=['id', 'amount', 'income', 'datetime', 'age'])
数据基本情况
2.1 针对时间数据的离散化
# 将时间转换为datetime格式，Python3中，map返回一个迭代器，所以需要list一下，把其中的值取出来 df['datetime'] = list(map(pd.to_datetime,df['datetime'])) # 离散化为 周几 的格式 df['datetime']= [i.weekday() for i in df['datetime']]
2.2 针对连续数据的离散化
连续数据的离散化结果可以分为两类：
一类是将连续数据划分为特定区间的集合，例如{(0，10]，(10，20]，(20，50]，(50，100]}
一类是将连续数据划分为特定类，例如类1、类2、类3
常见实现针对连续数据化离散化的方法如下。
分位数法：使用四分位、五分位、十分位等分位数进行离散化处理
距离区间法：可使用等距区间或自定义区间的方式进行离散化，该方法（尤其是等距区间）可以较好地保持数据原有的分布
频率区间法：将数据按照不同数据的频率分布进行排序，然后按照等频率或指定频率离散化，这种方法会把数据变换成均匀分布。好处是各区间的观察值是相同的，不足会改变了原有数据的分布状态。每个桶里的数值个数是相同的
聚类法：例如使用 K 均值将样本集分为多个离散化的簇
2.2.1 距离区间法：自定义分箱区间实现离散化
# 自定义区间边界 bins = [0, 200, 1000, 5000, 10000] # 按照给定区间 使用 pd.cut 将数据进行离散化 df['amount_grp1'] = pd.cut(df['amount'], bins=bins)
2.2.2 频率区间法：按照等频率或指定频率离散化
df['amount3'] = pd.qcut(df['amount'], 4, labels=['bad', 'medium', 'good', 'awesome'])
2.2.3 聚类法实现离散化
1 # 获取要聚类的数据 2 df_clu = df[['amount']] 3 4 # 创建 KMeans 模型并指定要聚类数量 5 model_kmeans = KMeans(n_clusters=4, random_state=111) 6 7 # 建模聚类 8 kmeans_result = model_kmeans.fit_predict(df_clu) 9 10 # 将新离散化的数据合并到原数据框 11 df['amount2'] = kmeans_result
对第 5 行代码的补充：
创建KMeans模型并指定要聚类数量，分成4组
random_state 随机数种子，指定之后，每次划分的训练集测试集划分方式相同
如果指定的random_state相同，每次生成的随机数都是一样的
3 二值化
根据某一阈值，将数据分成两类，得到一个只拥有两个值域的二值化数据集
# 建立Binarizer模型对象，利用income这一列的平均值作为阈值，进行二值化 bi_scaler = preprocessing.Binarizer(threshold=df['income'].mean()) # Binarizer标准化转换 bi_income = bi_scaler.fit_transform(df[['income']]) df['bi_income'] = bi_income
标签：python,pandas,离散,df,income,区间,datetime,数据,预处理 来源： https://www.cnblogs.com/ykit/p/12373681.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。