ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

python机器学习之决策树

2019-08-14 19:53:29  阅读:237  来源: 互联网

标签:机器 python 0.0 clf tree import 决策树 sklearn


决策树(Decision Tree)是一种非参数的有监督学习方法,它能够从一系列有特征和标签的数据中总结出决策规则,并用树状图的结构来呈现这些规则,以解决分类和回归问题。决策树尤其在以数模型为核心的各种集成算法中表现突出。
开放平台:Jupyter lab
根据菜菜的sklearn课堂实效生成一棵决策树。
三行代码解决问题。

from sklearn import tree                          #导入需要的模块
clf = tree.DecisionTreeClassifier()             #实例化
clf = clf.fit(X_train,Y_train)                      #用训练集数据训练模型
result = clf.score(X_test,Y_test)               #导入测试集,从接口中调用所需要信息

 利用红酒数据集画出一棵决策树。

从sklearn库中引入决策树、红酒数据集

from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

根据不纯度找出最佳节点和最佳的分歧方法。计算不纯度有两个指标:信息熵和基尼(Gini)指数。

例化决策树,DecisionTreeClassifier是分类树,DecisionTreeRegressor是回归树,tree.export_graphviz命令是将生成的决策树导出为DOT格式,画图专用。通常使用基尼系数,数据维数很大,噪声很大时使用基尼系数。维度低,数据比较清晰时,信息熵与基尼系数没区别。当决策树的拟合程度不够时,使用信息熵。

下面例化决策树,首先将数据分成训练集和测试集。

Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data, wine.target, test_size = 0.3)

注意分类的顺序为XXYY

clf = tree.DecisionTreeClassifier(criterion = "entropy")
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest) #返回预测的准确度accuracy

我得到的分数为

效果还可以。

决策树在此时已经生成,但是不太直观,之后我们进行图像的绘制。将特征和类别命名。

feature_name = ["酒精","苹果酸","灰","灰的碱性","镁","总酚","类黄酮","非黄烷类酚类","花青素","颜色强度","色调","od280/od315稀疏葡萄酒","脯氨酸"]

import graphviz
dot_data = tree.export_graphviz(clf
                                ,feature_names = feature_name
                                ,class_names = ["琴酒","雪莉","贝尔莫得"]
                                ,filled = True   #填充颜色
                                ,rounded = True    #画出的方块无棱角
                               )

graph = graphviz.Source(dot_data)
graph

然后运行,我们就可以得到一棵树啦(*^▽^*)。

运行[*zip(feature_name,clf.feature_importances_)] 可以看到每个属性在分类时的比重。得到:

[('酒精', 0.03965653811434505),
('苹果酸', 0.02068204382894391),
('灰', 0.0),
('灰的碱性', 0.0),
('镁', 0.06068969686746859),
('总酚', 0.0),
('类黄酮', 0.061368064261131956),
('非黄烷类酚类', 0.0),
('花青素', 0.0),
('颜色强度', 0.08690808214504504),
('色调', 0.03270487272137427),
('od280/od315稀疏葡萄酒', 0.26633722918973335),
('脯氨酸', 0.4316534728719579)]

可以看到并不是所有的特征都发挥着作用,只有八个特征有比重,且比重最大为脯氨酸,其次是od280/od315稀疏葡萄酒。

 

标签:机器,python,0.0,clf,tree,import,决策树,sklearn
来源: https://www.cnblogs.com/amberwang2018/p/11354153.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有