决策树常用于分类问题，但是也能解决回归问题。
在回归问题中，决策树只能使用cart决策树，而cart决策树，既可以分类，也可以回归。
所以我们说的回归树就是指cart树。
为什么只能是cart树
1. 回想下id3，分裂后需要计算每个类别占总样本的比例，回归哪来的类别，c4.5也一样
2. 回归问题肯定是连续属性，所以只能二划分，而cart树是强制的二叉树
回归树的分裂
分裂方法与决策树处理连续属性无异，分裂评价有所不同。
分类cart树用的gini系数，回归cart树可以用多种评价指标
MSE
cm为叶子节点的均值
最小化L2误差
MAE
y1-,y2-(平均)分别表示以当前属性作为划分选择时各自对应的集合s1和s2目标值的均值，也有取中位数的，可以自己定
最小化L1误差
也可以尝试其他回归评价指标
防止过拟合
通过剪枝提高模型的泛化能力，如
SSE=SSE+γT
T表示树的规模，如叶节点的个数，γ为惩罚系数，可以自定义，值越大树的规模越小
示例代码
from sklearn import tree X = [[0, 0], [1, 1], [2, 2], [6, 6], [8, 8], [10, 10]] y = [0.5, 0.8, 1, 7.5, 8.5, 9] clf = tree.DecisionTreeRegressor(max_depth=2) clf = clf.fit(X, y) print clf.predict([[1, 1.5]]) # 0.9 print clf.predict([[3, 5]]) # 0.9 print clf.predict([[10, 12]]) # 8.75
参考资料：
https://blog.csdn.net/wong2016/article/details/80727524
https://blog.csdn.net/skullFang/article/details/79107127 回归评价指标
标签：10,回归,cart,print,clf,决策树 来源： https://www.cnblogs.com/yanshw/p/10644433.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。