上一文讲到了信息熵的一些基础知识，而机器学习中的一个经典算法——决策树就是基于信息熵的基础上进行分析的，有关信息熵的基础知识可以回顾：

梦里寻梦：（十一）通俗易懂理解——信息熵58 赞同 · 1 评论文章

今天看到了李航的统计方法分析中讲解的决策树，觉得也是特别浅显易懂的，现在做适当终结。

首先是对熵以及信息熵进行回顾

接下去是对于算法5.1的理解，这个看得有点吃力的可以直接看以下例子部分。

题目如下，就是在年龄、工作、房子、信贷情况4个特征中判断是否贷款给此人。

该例子说明了如何计算信息增益。而ID3生成算法就是根据信息增益来选择特征，而C4.5则是根据信息增益比来选择特征。

通过这样的实例来说明决策树应该是非常的通俗易懂了。后面还有剪枝以及CART的生成算法，李航这本书的内容看得相对眼花缭乱些，后续看到更加通俗易懂的再在该篇进行完善补充。

现在来完善下CART以及剪枝内容。

参考文章：李航《统计方法分析》

参考文章：stat.cmu.edu/~cshalizi/

参考博客：决策树之 CART - ooon - 博客园