机器学习中的独立和同分布 （IID）：假设和影响

无水先生
领域专家: 人工智能技术领域
2023-11-18 10:20:00
...全文
56 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
联邦学习中的非独立同分布Non-IID
在联邦学习Federated Learning中，出现的很高频的一个词就是Non-IID，翻译过来就是非独立同分布，这是一个来自于概率论与数理统计中的概念，下面我来简单介绍一下在Federated Learning中IID和Non-IID的概念。
机器学习（1）：独立同分布IID(independent and identically distributed)
1.独立同分布independent and identically distributed (i.i.d.)    在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。    在西瓜书中解释是：输入空间中的所有样本服从一个隐含未知的分布，训练数据所有样本都是独立地从这个分布上采样而得。   2.简单解释独立、同分布、独立同分布 （...
【面试】独立同分布的全称是什么？为什么机器学习中的基本假设是独立同分布？
独立同分布的全称是Independent and Identically Distributed，简称IID。独立同分布假设是许多机器学习算法和理论推导的基础，确保了模型的训练、验证和测试过程具有一致性和可推广性。尽管在某些实际应用中独立同分布假设可能不完全成立，但它提供了一个简化的建模框架，并且对于大多数问题，近似满足这一假设已经足够有效。
IID独立同分布假设
1.独立同分布independent and identically distributed (i.i.d.) 在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。 在西瓜书中解释是：输入空间中的所有样本服从一个隐含未知的分布，训练数据所有样本都是独立地从这个分布上采样而得。 2.简单解释独立、同分布、独立同分布 （...
一个处女座的程序猿【问答社区】

642,597

社区成员

1,778

社区内容

发帖
与我相关
我的任务
社区描述
本社区主要是面向互联网IT人员，主要涉及领域包括人工智能(数据科学、计算机视觉、自然语言处理等)、区块链等前沿技术。社区人员均可提出编程中遇到的疑难杂症、程序bug等等问题，博主看到后会及时回答！
社区管理员
  • 一个处女座的程序猿
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章