前言 熵在机器学习中用的非常普遍，但这个又难以理解，经常忘记，写一篇博客记录一下，也方便其他人学习了解。 什么是熵 一开始接触熵是大二的信息论，非常难的一门课，当时学的时候不知道这个东西有什么用，完全就不太想学，因为不知道干嘛，也不知道学了有什么用，但是现在很后悔，定义：熵也叫信息
1.信息论基础 熵 联合熵 条件熵 信息增益 基尼不纯度 熵：(entropy)是表示随机变量不确定性的度量，如果一件事有nnn种可能结果，每种结果的概率为pi(i=1,2…,n)p_i(i=1,2…,n)pi(i=1,2…,n)，那么熵表示为 H=−∑i=1npilogpiH = -\sum _{i=1}^{n}p_ilogp_iH=−i=1∑npilogpi
1.决策树构造 难点：如何构造树 选择什么样的节点做根节点 2.熵 ：衡量标准，用于选择哪个节点做当前的节点 表示随机变量的不确定性（物体内部的混乱程度【所以熵越小越好】） ID3算法: 就是基与信息增益的算法 问题： 假设以ID（每条数据都是不同的 或者 那些分的很细但是没有意义的
之前简单总结的，后面的内容基本是目录，详细内容后面再添加 1.决策树的定义 简单的来说决策树就是将数据集根据一定规则分裂，建立成树结构，用来进行决策，每一个非叶子节点是一个判断条件，每一个叶子节点是结论。从根节点开始，经过多次判断得出结论。 举例： 省略数据集，给出得到的树如下，
1、C4.5算法介绍C4.5算法与ID3算法不同的是采用了信息增益比作为特征的选择，原因是：信息增益在选择属性时偏向于选择取值较多的属性。 2、信息增益比特征A对训练数据集D的信息增益比定义为其信息增益g(D,A)与特征A的熵HA(D)之比（计算方式请看上一篇）： 3、CART算法介绍CART算法使
1、算法介绍决策树是一种基本的分类和回归方法，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。决策树的本质是从训练数据集中归纳出一组分类规则。本文主要是对决策树的ID3算法的介绍，后文
