机器学习分布式计算框架：MR、MPI、参数服务器

石默研 2023-01-13 03:10:09

课时名称	课时知识点
机器学习分布式计算框架：MR、MPI、参数服务器	本节介绍机器学习常用的三种分布式计算框架，MR、MPI、参数服务器

...全文

60 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

搬来大佬的文章哦~~分布式深度学习框架目的只有一个：解决超大模型的训练问题，主要针对两种场景：一个具有超大规模的 dense（密集）参数的模型，比如 NLP、CV 等；另一个是具有超大规模 sparse（稀疏）参数的模型，比如推荐模型。前一种场景重计算，主要采用 GPU 训练，通信采用 AllReduce 模式，后一种场...

总结很不错，就转过来了，原博文：http://blog.csdn.net/recommender_system/article/details/42024205 一、高性能计算目前自己知道的高性能计算工具，如下所示： Hadoop：Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 S

Apache IgniteApache Ignite In-Memory Data Fabric是一个分布式内存平台，用于实时计算和处理大规模数据集。它包括分布式键值内存存储，SQL功能，map-reduce和其他计算，分布式数据结构，连续查询，消息和事件子系统，Hadoop和Spark集成。 Ignite是用Java构建的，提供.NET和C ++ API。Apache ...

用分布式的并发计算能力来实现机器学习算法，是AI实践领域比较重要的方向，因为对海量数据的AI计算来讲，往往单机的能力严重不足，在自己机器上做点实验进行学习可以，但在实际工程中，特别是在所谓的大数据时代，往往需要借助分布式并行计算的能力。当然，已经有很多框架，比如MPI，Hadoop的Mahout，Spark ML、参数服务器等等，在工程中可以供开发者使用，不过，如果要对用分布式来实现机器学习的方法论与过程有更深入的理解与掌握，自行编程进行相关方向的实验，是需要的，在工程中，这种深入的体验也很有可能会

今天做题，其中一道是请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景。一直想对这些大数据计算框架总结一下，只可惜太懒，一直拖着。今天就借这个机会好好学习一下。一张表名称发起者语言简介特点适用场景 Hadoop Yahoo工程师，Apache基金会 Java MapReduce分布式计算框架+HDF

石逸凡的课程社区_NO_1

2

社区成员

376

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章