去中心化模型训练

Momodel平台
杭州一蓦信息科技有限公司官方账号
2023-09-01 15:46:16

课时名称课时知识点
去中心化模型训练讲解联邦学习基本概念、面临的挑战、扩展（纵向联邦学习、去隐私计算等）和应用案例（智能家居、手机键盘预测等）。
...全文
59 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
联邦学习和去中心化训练--知识记录
一、知识点： 1、原子操作（atomic operation）指的是由多步操作组成的一个操作。如果该操作不能原子地执行，则要么执行完所有步骤，要么一步也不执行，不可能只执行所有步骤的一个子集。 2、联邦学习为移动设备上的模型共享创造可能，模型训练与云端存储解耦，移动端存储训练数据，并进行模型训练和进化。 联邦学习机理如下：设备下载云端最新的共享模型，本地改进和训练，个性化后的模型被抽取为一个更新文件，将差异部分加密上传云端，在云端和其它设备上传的最新模型差异做平均化更新，以改善共享模型。 网络的上传
去中心化联邦学习思想
在去中心化联邦学习中，每个设备只与其邻居设备通信，因此通信开销较小。但是，由于每个设备的模型更新仅基于其邻居设备的信息，因此可能存在模型发散或不能收敛的问题。在去中心化联邦学习中，每个设备都使用本地数据进行模型训练，并将模型更新发送给周围的邻居设备。相较于其他的联邦学习方式，去中心化联邦学习不需要集中式服务器来协调设备之间的通信，因此极大地减少了通信开销和单点故障风险。去中心化联邦学习算法的主要优点是对用户隐私具有更好的保护，而且通常比集中式的联邦学习更具有可扩展性和健壮性。我们的目标是学习一个全局模型。
联邦学习（Federated learning）—— 去中心化联邦&中心化联邦
需要将本地模型参数加密传输给其余参与联合训练的数据持有方。因此，假设本次联合训练有n个参与方，则每个参与方至少需要传输2（n-1）次加密模型参数。中央服务器先将初始模型分发给各参与方，然后各参与方根据本地数据集分别对所得模型进行训练。：基于分布在多个设备上的数据集构建机器学习模型，同时防止数据泄露。各参与方将本地训练得到的模型参数加密上传至中央服务器。，因为难以从多家企业中选出进行协调的服务器方。，企业作为服务器，起着协调全局模型的作用；进行模型训练的场景，一般可以采用。的联邦学习场景，一般采用的是。
去中心化联邦学习-Python实现的2个案例
随着人工智能技术的发展，越来越多的数据被收集和使用。然而，这些数据通常分散在不同的设备上，例如移动设备、传感器等。联邦学习（Federated Learning）是一种解决这个问题的方法，它允许在不将数据传输到中央服务器的情况下进行模型训练。但是，联邦学习也存在一些问题，例如数据隐私保护、通信效率等，并且有些应用场景需要更高的安全性和去中心化的特性。因此，出现了去中心化的联邦学习（Decentralized Federated Learning）。
去中心化的联邦图神经网络
《Decentralized Federated Graph Neural Networks》论文阅读笔记 发表在2021年的IJCAI 背景 GNN广泛用来分析图结构数据，然而，在用户端有隐私，规则限制，商业竞争等。因此，我们能看到的图结构数据是分布式的，这也就限制了GNN的应用。 已有方法 已有一些关于中心化联邦图神经网络的研究，中心服务器协调各个参与者从图结构数据中训练的GNN模型。 存在问题 中心服务器需要进行模型聚合操作，在很多跨领域场景下，这种中心服务器是不被接受的。因此，去中心化的学习模型在
浙江大学吴超教授《人工智能导论》

6

社区成员

23

社区内容

发帖
与我相关
我的任务
社区描述
由浙江大学吴超教授授课，了解人工智能的发展历史，能够根据实际的应用场景进行模型选型，助你快速入门AI。 官网链接：https://momodel.cn/
AI编程python人工智能 个人社区 浙江省·杭州市
社区管理员
  • Momodel平台
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告

欢迎来到浙大教授吴超老师的《人工智能导论》课堂社区！

点击Mo 官网链接 学习《人工智能导论》体验在线编写代码。

添加 小Mo老师 微信「Momodel_AI」免费领取豪华版资料大礼包、1v1答疑、高质量社群交流、AI干货分享、ChatGPT问答额度等～

试试用AI创作助手写篇文章吧

+ 用AI写文章