决策树原生代码实现：数据集熵的计算

ncu_jjq 2023-01-12 15:00:54

课时名称	课时知识点
决策树原生代码实现：数据集熵的计算	决策树原生代码实现：数据集熵的计算

...全文

13 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

【1】目录：机器学习 - 决策树 ID3 算法伪代码机器学习 - 决策树 ID3 算法实现思路机器学习 - 决策树 ID3 算法具体代码伪代码图片 - 《西瓜书》算法实现思路：创建数据样本集合；划分数据集：根据不同的特征，把该特征从整个DataSet中抽出来放在新的List中，后续计算[特征熵]做准备；计算 [经验熵];计算[信息增益] = [经验熵] - [特征熵] 取最大的特征 ---- ...

决策树其实就是按节点分类数据集的一种方法。在本文中，我将讨论数学上如何使用信息论划分数据集，并编写代码构建决策树。创建决策树进行分类的流程如下：（1）创建数据集 （2）计算数据集的信息熵（3）遍历所有特征，选择信息熵最小的特征，即为最好的分类特征（4）根据上一步得到的分类特征分割数据集，并将该特征从列表中移除（5）执行递归函数，返回第三

假设给定了一个数据集为 dataSet = [[1,1,‘yes’], [1,1,‘yes’], [1,0,‘no’], [0,1,‘no’], [0,1,‘no’]] 如果需要进行构建决策树，首先要计算label 为yes 与no的信息熵，信息熵的公式https://zhuanlan.zhihu.com/p/20794583，代码构成为 from math import log #我们要用到...

划分依据 决策树的主要依据为信息熵计算，信息熵最大的最为分类依据流程创建数据集 –> 计算信息熵，最大值作为结点，划分子数据集 –> 递归寻找代码 from math import log import operator ''' 机器学习实战-第三章（决策树） '''# 创建数据集 def createDataSet(): dataset = [ [1, 1, 'y

决策树理论 1.1、计算信息熵（经验熵） # 计算给定数据集的熵 def calc_shannon_entropy(data_set): # 数据集行数 num_entries = len(data_set) # 类标签字典 label_counts = {} # 遍历数据集, 记录每个标签的数量 for feat_vec i...

纪佳琪的课程社区_NO_1

1

社区成员

170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章