机器学习算法(8)——决策树算法-CSDN博客

人工智能领域优质创作者

博客专家认证

2023-12-22 11:18:16

机器学习算法(8)——决策树算法-CSDN博客

...全文

307 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

决策树（Decision Tree）是一种以树形结果展示决策规则和分类结果的模型。作为一种归纳算法模型，它可以从看似无序、杂乱的数据中提取出数据分类的规律，并用其进行新数据分类或预测。决策树可被用于解决分类和回归问题。例如：通过一个西瓜的多种特征，如其纹理、色泽、触感，等判断其是否是好瓜；或通过一天的天气情况，如是否晴天、风力大小、空气湿度等，判断这一天是否适合进行户外运动等。

机器学习算法——决策树算法ID3

一、决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。内部结点表示一个特征或属性，叶结点表示一个类。 ⚪：内部结点正方形：叶结点二、决策树特征选择 2.1 特征选择问题特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。如果用一个特征去分类，得到的结果与随机的分类没有很大差别，那么这次分类是无

本节使用的数据为下列链接中的表1、表2（机器学习算法——决策树7（预剪枝处理实例）_Vicky_xiduoduo的博客-CSDN博客） 1. 理论讲解后剪枝是从训练集生成一棵完整决策树。上节已经分析了，未剪枝之前决策树的验证集精度为42.9%。图1 未剪枝前的决策树 基于上图，后剪枝首先考虑纹理，若将其领衔的分支剪除，则相当于把纹理替换成叶节点，替换后的叶节点包含编号{7，15}，于是，该叶节点的类别标记为“好瓜”，此时决策树验证集的精确度提升至57.1%。于是后剪枝策略决定剪枝。然后考

剪枝理论学习请参考如下网址：机器学习算法——决策树4（剪枝处理）_Vicky_xiduoduo的博客-CSDN博客_剪枝机器学习不管是预剪枝还是后剪枝，都需要对决策树进行“泛化能力”的评估。本节的实例讲解采用留出法评估决策树的泛化能力。故需要预留一部分数据用作“训练集”，一部分用作“验证集/测试集”。将西瓜2.0数据集随机划分成两部分，如下表所示。表1 西瓜数据集2.0划分出的训练集编号色泽根蒂敲声纹理脐部触感好瓜 1 青绿

侯小啾人工智能社区

79,900

社区成员

1,578

社区内容

发帖

与我相关

我的任务

人工智能大数据python 个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章