标签：Fit 特征 模型 解释性 Rule 决策 RuleFit 规则 线性
原文：《Interpretable machine learning》 Christophm
规则拟合
就是以决策规则的形式，检测特征间的交互。（决策规则见笔记四）
两部分：
- 从决策树间创建规则。
- 将原特征和新规则作为输入，匹配线性模型。
通过将分割的决策组合成规则，可以将树中的每条路径转换为决策规则：
解释和实例
RuleFit最终估算的是一个线性模型，所以与常规线性模型的解释是相同的。唯一的区别是该模型具有来自决策规则的新特征。
自行车租赁实例：
最重要的规则是:“days_since_2011 > 111 & weathersit in(“GOOD”，“MISTY”)”，对应的权重是793。其解释是:如果days_since_2011 > 111和weathersit in(“GOOD”、“MISTY”)，那么当所有其他特性值保持不变时，预测的自行车数量将增加793辆。
特征重要性的度量包括原始特征项的重要性和特征出现在的所有决策规则。
1.理论
step 1：规则泛化
一个树的集合可以用这个通用的公式来描述:
M：树的数量 fm(x) ：预测函数
创建规则：
Tm ： m树中用到的特征集 I：指示函数
实例化：自行车租赁数据集的一个虚构的例子:
step 2：稀疏线性模型（减少特征）
和线性模型一致，引入lasso，增加规则特征。
step 3：特征重要性：
介绍了几种衡量特征重要性的方法。
2.优缺点
优点：
- RuleFit自动将特征交互添加到线性模型中。
- RuleFit可以处理分类和回归任务。
- 易于解释。
缺点：
- 有时RuleFit会创建许多规则，随着模型中特征数量的增加，可解释性逐渐降低。
- 线性模型，权重的解释仍然是不直观的。
标签：Fit,特征,模型,解释性,Rule,决策,RuleFit,规则,线性 来源： https://blog.csdn.net/sinat_23971513/article/details/111301916
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。