GPU并行计算与Hadoop能够很好地统一结合架构不？

letian9999 2014-09-24 12:38:02

Hadoop主要是能够利用更多的计算机资源来参与大量数据的计算，而GPU并行计算则是提高单机的运算速度。
试问如果这两个可以结合起来是不是计算能力能够得到更大幅度的提升？
本人只是这样设想，并没有任何实践经验，所以在这里请问懂行的高手能不能帮我解答这个疑惑？
在此拜过！

...全文

1973 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

lzulyf 2015-02-12

打赏
举报

回复

呵呵学习了

三味书屋 2015-02-12

打赏
举报

回复

理论是可以。。。

Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样？能否更快理论上，这些处理如果经过了并行计算的优化，在GPU上执行会比CPU快50-100倍。作为大数据专家和PaaS的推动...

并行计算实验报告：使用Hadoop进行WorldCount 实验环境宿主机：操作系统：Manjaro 20.0.3 Lysia 内核：x86_64 Linux 5.7.0-3-MANJARO CPU：Intel Core i5-8400 @ 6x 4GHz GPU：GeForce GTX 1080 Ti 内存：...

原文出处：并行计算简介 并行计算简介（本人刚刚完成这篇长文章的翻译，尚未认真校对。若里面有翻译错误和打字错误敬请谅解，并请参考原贴） 1 摘要最近项目需要实现程序的并行化，刚好借着翻译这篇帖子的机会...

这篇帖子旨在为并行计算这一广泛而宏大的话题提供一个非常快速的概述，作为随后教程的先导。因此，它只涵盖了并行计算的基础知识，实用于刚刚开始熟悉该主题的初学者。

MLOPS：大数据/服务器下的大规模机器学习技术—并行计算技术的简介、训练大模型3+分布式并行策略：数据并行DP【MPI/Hadoop】、模型并行MP【Megatron-LM/PaLM】、管道并行PP【多核CPU/GPU】)、两种实现方式(算法并行...

547

社区成员

352

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章