GPU并行计算与Hadoop能够很好地统一结合架构不？

letian9999 2014-09-23 11:59:09

Hadoop主要是能够利用更多的计算机资源来参与大量数据的计算，而GPU并行计算则是提高单机的运算速度。
试问如果这两个可以结合起来是不是计算能力能够得到更大幅度的提升？
本人只是这样设想，并没有任何实践经验，所以在这里请问懂行的高手能不能帮我解答这个疑惑？
在此拜过！

...全文

801 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

adagio_chen 2014-09-25

打赏
举报

回复

可以参考一下这个帖子的讨论 http://bbs.csdn.net/topics/390841830

本课程系统介绍大数据技术家族中Hadoop与Spark的架构、编程与相关优化方法，相对于其它课程，本课程有如下特点：一是实战与架构介绍紧密结合，注意讲述实战技能同时，清晰讲解架构与原理，使学员知其然，知其所以然二是与应用实践结合紧密，各技术点都力求与实践场景结合，做到真正会用；同时内容全面，包括批量、实时、流计算、图计算及其结合等多种技术场景三讲解通俗易懂，形象贴切，同时又深入全面，透彻理解。通过本课程学习，学员可从初学者到能真正在工程实践中使用大数据技术解决问题

Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样？能否更快理论上，这些处理如果经过了并行计算的优化，在GPU上执行会比CPU快50-100倍。作为大数据专家和PaaS的推动者，Altoros Systems研发团队一直致力于探索Hadoop+GPU的可能性，以及在实际的大规模系统中的实现，这篇文章就是他们的部分研究成果。作者

并行计算实验报告：使用Hadoop进行WorldCount 实验环境宿主机：操作系统：Manjaro 20.0.3 Lysia 内核：x86_64 Linux 5.7.0-3-MANJARO CPU：Intel Core i5-8400 @ 6x 4GHz GPU：GeForce GTX 1080 Ti 内存：16GB 虚拟机1：操作系统：Manjaro 20.0.3 Lysia 内核：x86_64 Linux 5.6.15-1-MANJARO CPU：Intel Core i5-8

原文出处：并行计算简介 并行计算简介（本人刚刚完成这篇长文章的翻译，尚未认真校对。若里面有翻译错误和打字错误敬请谅解，并请参考原贴） 1 摘要最近项目需要实现程序的并行化，刚好借着翻译这篇帖子的机会，了解和熟悉并行计算的基本概念和程序设计。帖子的原文见这里。这篇帖子旨在为并行计算这一广泛而宏大的话题提供一个非常快速的概述，作为随后教程的先导。因此，它只涵盖了并行计算的基础知识，实用...

这篇帖子旨在为并行计算这一广泛而宏大的话题提供一个非常快速的概述，作为随后教程的先导。因此，它只涵盖了并行计算的基础知识，实用于刚刚开始熟悉该主题的初学者。

CUDA高性能计算讨论

353

社区成员

615

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章