【机器学习】信息熵和信息度量

领域专家: 人工智能技术领域

2023-06-23 01:50:53

一、说明

信息熵是概率论在信息论的应用，它简洁完整，比统计方法更具有计算优势。在机器学习中经常用到信息熵概念，比如决策树、逻辑回归、EM算法等。本文初略介绍一个皮毛，更多细节等展开继续讨论。

【机器学习】信息熵和信息度量_无水先生的博客-CSDN博客

...全文

21 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

机器学习中的“三剑客”——信息熵、条件熵与信息增益，是理解数据特征与决策过程的关键工具。信息熵衡量数据的不确定性，条件熵则描述了在给定条件下数据的不确定性变化。而信息增益则通过比较两者，揭示某一特征对减少不确定性的贡献，帮助机器学习算法如决策树进行特征选择，优化分类与回归效果。这三者共同构成了机器学习领域数据分析和决策优化的重要基石。

首先我们要区分信息量和信息熵的区别。下面根据我的理解一步一步引出信息熵及其公式的来源： 信息熵的公式先抛出信息熵公式如下：其中 p(xi) 代表随机事件X为 xi的概率，下面来逐步介绍信息熵的公式来源！信息量信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量x的时候，当我们观察到的这个变量的一个具体值的时候，我们接收到了多少信息呢？多少信息用信息量...

机器学习中的信息熵 熵的基本概念信息量 信息熵 香农公式二项分布(伯努利分布)熵常见熵的概念互信息 I(X,Y) 条件熵联合熵三者之间的关系熵的基本概念信息量公式：I = -log(p(xix_ixi)) （bit/比特）借用课本上的例子，信息量的大小就是消除一件事情的不确定程度。也就是说(例如)一句话说阐述的事情发生的可能性越大，那么这句话所包含的信息量就越小。小明告诉小白：“明天太白打东边升起”，其信息量为：I = -log(1) =0,这句话就是句

机器学习中，绕不开的一个概念就是熵 (Entropy)，信息熵。信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。在决策树的生成过程中，就使用了熵来作为样本最优属性划分的判据。下面按照本人的理解来系统梳理一下有关熵的概念。 1 信息量信息量即信息多少的度量。公式表达如下：即如果事件概率越大，该携带的信息量越小；事件概率越小，该...

人工智能旅行团

2

社区成员

331

社区内容

发帖

与我相关

我的任务

计算机视觉数据挖掘自然语言处理个人社区北京·房山区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章