机器学习算法(8)——决策树算法-CSDN博客

领域专家: 人工智能技术领域

2023-12-22 11:18:16

机器学习算法(8)——决策树算法-CSDN博客

...全文

341 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

机器学习算法——决策树算法ID3

一、决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。 ⚪：内部结点正方形：叶结点二、决策树特征选择 2.1 特征选择问题特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果用一个特征去分类，得到的结果与随机的分类没有很大差别，那么这次分类是无

本节使用的数据为下列链接中的表1、表2（机器学习算法——决策树7（预剪枝处理实例）_Vicky_xiduoduo的博客-CSDN博客） 1. 理论讲解后剪枝是从训练集生成一棵完整决策树。上节已经分析了，未剪枝之前决策树的验证集精度为42.9%。图1 未剪枝前的决策树 基于上图，后剪枝首先考虑纹理，若将其领衔的分支剪除，则相当于把纹理替换成叶节点，替换后的叶节点包含编号{7，15}，于是，该叶节点的类别标记为“好瓜”，此时决策树验证集的精确度提升至57.1%。于是后剪枝策略决定剪枝。然后考

决策树是什么？决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果决策树的建立过程1.特征选择：选取有较强分类能力的特征。2.决策树生成：根据选择的特征生成决策树。3.决策树也易过拟合，采用剪枝的方法缓解过拟合。决策树的分类：ID3树：基于信息增益C4.5树：基于信息增益率cart树：基于基尼指数。

剪枝理论学习请参考如下网址：机器学习算法——决策树4（剪枝处理）_Vicky_xiduoduo的博客-CSDN博客_剪枝机器学习不管是预剪枝还是后剪枝，都需要对决策树进行“泛化能力”的评估。本节的实例讲解采用留出法评估决策树的泛化能力。故需要预留一部分数据用作“训练集”，一部分用作“验证集/测试集”。将西瓜2.0数据集随机划分成两部分，如下表所示。表1 西瓜数据集2.0划分出的训练集编号色泽根蒂敲声纹理脐部触感好瓜 1 青绿

侯小啾人工智能社区

80,817

社区成员

1,677

社区内容

发帖

与我相关

我的任务

人工智能大数据python 个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章