标签：不确定性 试穿 衣服 增益 这件 通俗 2.6 决策树

参考通俗理解决策树算法中的信息增益

说到决策树就要知道如下概念：

• 熵：表示一个随机变量的复杂性或者不确定性。

假如双十一我要剁手买一件衣服，但是我一直犹豫着要不要买，我决定买这件事的不确定性（熵）为2.6。

• 条件熵：表示在直到某一条件后，某一随机变量的复杂性或不确定性。

我在看了这件衣服的评价后，我决定买衣服这件事的不确定性是1.2。
我在线下实体店试穿衣服后，我决定买衣服这件事的不确定性是0.9。

• 信息增益：表示在知道某一条件后，某一随机变量的不确定性的减少量。

上面条件熵给出了两个：
一个是看了网上的评价，此时的信息增益是\(Gain_1 =2.6-1.2=1.4\)。
另一个是线下试穿了衣服，此时的信息增益
\(Gain_2=2.6-0.9=1.7\)。

很显然我在线下试穿衣服之后对于决定买这件衣服的不确定度下降更多，更通俗的说就是我试穿衣服之后买这件衣服的可能性更大了。所以如果有看买家评价和线下试穿两个属性，首先应该选择线下试穿来构建内部节点。

信息熵计算公式

• 符号\(x_i\)所具备的信息为: $$I(x_i) = -log_2p(x_i)$$
• 所有类别所具有的信息熵（information entropy）：$$H(X) = -\sum_{i=1}^{n}p(x_i)log_2p(x_i)$$

标签：不确定性,试穿,衣服,增益,这件,通俗,2.6,决策树
来源： https://blog.51cto.com/u_15187743/2749225

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。