标签：None 机器 tree 基础 学习 随机 sklearn 森林 决策树

决策树

信息量越大 信息熵越大

信息和消除不确定性是相联系的

决策树的划分依据是信息增益 不确定性

sklearn选择基尼系数作为分类依据，该系数划分更加仔细

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

决策树的结构，本地保存

sklearn.tree.export_graphviz() 该函数能够导出DOT格式 tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

决策树的优点：简单的理解和解释，树木可视化，需要很少的数据准备，其他技术通常需要数据归一化

缺点：决策树过拟合 树的建立太深

改进：剪枝cart算法（决策树API中已经实现

            随机森林

集成学习方法-随机森林

集成学习方法通过建立几个模型组合的来解决单一预测问题，生成多个分类器、模型，各自独立地学习和做出预测，这些预测最后结合成单个预测，因此优于任何一个单分类的预测

随机森林是一个包含多个决策树的分类器，并且其输出的类别是有个别树输出的类别的众数而定。

随机森林建立多个决策树的过程：

单个树建立过程（1）随机在N个样本中选择一个，重复N次，样本有可能重复；（2）随机在M个特征当中选择m个特征，

随机有放回的抽样 即bootstrap抽样

随机森林API：class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None)

随机森林优点：在当前所有算法中，具有极好的准确率；能够有效地运行在大数据集上 ；能够处理具有高维特征的输入样本，而且不需要降维 ；能够评估各个特征在分类问题上的重要性 ；对于缺省值问题也能够获得很好得结果

标签：None,机器,tree,基础,学习,随机,sklearn,森林,决策树
来源： https://blog.csdn.net/u010560584/article/details/120741893

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。