请问当下计算密集型任务在CPU集群上进行计算除了MPI还有什么框架推荐呢？

Sudrizzzz 2021-11-12 13:03:40

我遇到一个问题，需要计算很多个粒子在流场（7个G左右）中的运行轨迹，单个粒子每迭代一步都需要获取当前位于的网格内信息，然后在根据当前的网格信息进行计算，得到下一步的位置。周而复始。请问一下这个该怎么实现集群上的并行计算？嘤嘤嘤

...全文

267 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

Sudrizzzz 2021-11-12

打赏
举报

回复

串行代码已经实现，但并行化改造好难

Dask 作为 Python 生态里的分布式计算框架，给了我们一个既强大又易用的工具。它的懒加载和任务图机制，能轻松应对大规模 CPU 密集型任务，尤其是在数据分析和科学计算领域。和 Pandas、NumPy 的无缝集成，也让上手变得异常简单。不过，用 Dask 时要注意任务拆分的开销，数据块别分得太小，不然调度成本会吃掉性能收益。另外，分布式模式下，网络延迟和数据传输也是个潜在瓶颈，集群配置得合理规划。

基于深度学习的图像识别的软件解决方案软件架构：MPI+Caffe 深度卷积神经网络(CNN)算法是深度学习领域普遍采用的神经网络构建模型，Caffe是目前最快的CNN架构。浪潮的集群版Caffe计算框架正是切中当下深度学习的迫切需求，它采用MPI技术对Caffe版本进行数据并行优化，该框架基于伯克利caffe架构进行开发，完全保留原始caffe架构的特性。即：纯粹的C++/CUDA架构，支持命令行...

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让...

Hadoop、Spark、Storm、Flink是比较常用的分布式计算系统 1）仅批处理框架：Hadoop常用于离线的复杂的大数据处理。 2）仅流处理框架：Samza与YARN和Kafka紧密集成的流处理，Storm常用于在线的实时的大数据处理。 3）混合框架：Spark常用于离线的快速的大数据处理（基于内存），Flink可扩展的批处理和流式数据处理的数据处理平台。关于Hadoop H...

一、抛砖引玉 — 计算机对网络数据包的处理过程数据包从远端传入本地计算机，其本质只是电信号，需要先经过网卡的处理再进入到内存。这个过程，就是把网线中的高低电平，转换到网卡（NIC）上的一个缓冲区存储（通过网卡的稳压器将模拟信号转换为数字信号）。数据到达了网卡的缓冲区中，还需要借助DMA配合网卡将数据存入内存的缓冲区，这个过程前提需要在内存中申请一个缓冲区sk_buffer，然后把缓冲区的地址告诉网卡，DMA就会等网卡的缓冲区有数据到来的时候将它拷贝到内核中。当数据包准备就绪，网卡触发CPU中断，中断处理函数

高性能计算

2,408

社区成员

1,025

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章