MPI编程进程分配问题！！！

轩晔 2011-09-20 09:49:34

我编写了一个测试程序，打算用两个进程运行该程序，我的实验平台是一个工作站，该工作站有两个CPU，每个CPU有4个核心，
我想在想测试一下两种情况下的通信时间并做对比：
1.这2个进程在不同的CPU上；
2.这2个进程在同一个CPU内；

以上是我的需求，我的问题是：
1.如何设置MPI环境实现以上两种情形的运行环境
2. 如上面实验环境，MPI默认情况是如何分配进程的，把这两个进程默认分配到同一个CPU内，还是不同的CPU间？

PS：如果用MPI集群跑比较容易解决，但是测试的环境在单机工作站上如何设置，请大侠们不吝赐教，小弟感激不禁！！！

先谢谢各位了！！

...全文

632 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

intel_iclifort 2011-09-23

打赏
举报

回复

本身这些都是对程序员透明的，如果你要做到绑定，必须要借助相关MPI或者其它运行库提供的设置选项，或者通过API控制。可能地结果是代码无法移植到其它平台/MPI

如果使用的是 Intel MPI，可以通过特定的环境变量来实现这种控制，详细请参考手册 3.2章 “Process Pinning"

I_MPI_PIN
I_MPI_PIN_MODE
I_MPI_PIN_PROCESSOR_LIST
(I_MPI_PIN_PROCS)
。。。

intel_iclifort 2011-09-22

打赏
举报

回复

这个恐怕取决于具体MPI的实现，请参考相应的文档。有些编译器的OpenMP 实现倒是有一些API提供支持CPU/Core绑定的

有一点供参考，同一个CPU处理器中的核是共享cache的，如果数据大小正好合适，应该效率高些。 MPICH2 以及相关的MPI实现，在SMP上都有相关的优化吧

轩晔 2011-09-22

打赏
举报

回复

经过测试我发现当进程数量少于core数量是 MPI进程在各个core之间来回切换，改种切换会带来进程开销，因此如何把进程帮定到core是解决问题的关键，但是目前为止我还没找到如何实现进程和core的帮定。。。求各位给个思路。。。

并行编程（CUDA、openMP、MPI）介绍这个存储库包含一些并行编程的实现。使用了 3 种技术：* 用于共享内存拓扑的 openMP * 用于分布式内存拓扑的 openMPI * 用于 GPU（图形处理单元）的 CUDA 项目一描述该项目包含使用 openMP 和 openMPI 的线性系统高斯算法的并行化实现，并比较各种并行实现与串行实现之间的并行化和时间增益。在文件 LU_serial.c 中，已经给出了原始序列号。使用 openMPI 的算法有 4 个并行实现，它们在数据分配类型和进程之间的通信类型方面有所不同。第一种类型的数据分配是连续块分配。因此，如果我们有一个 100x100 元素和 n 个进程的数组，则该数组的前 100/n 行分配给第一个进程，接下来的 100/n 行分配给下一个进程。第二种数据分配类型是数据的循环分配。所以，如果我们有一个 10

工作负载平衡器作者 Jared Klingenberger 使用 MPI 库的静态和动态工作平衡器。每个工作负载单元是区间[0,4]中的一个数字，与进程应该Hibernate多长时间（模拟工作）相关。该程序是为克莱姆森大学的 CpSc 3620（分布式编程）编写的。讨论静态工作负载均衡器使用连续块分布算法。主要工作负载（在主节点上找到的一个数组）被分成n个块，其中 n 是 MPI 进程的数量。该算法没有使用给每个流程WORKLOAD_SIZE/n单位的简单方法，而是计算总工作量的平均值和标准偏差，并确保每个流程的平均值大致为 +/- 5%（z 得分 0.130）。这使得工作负载在进程之间相当均匀地分布。动态工作负载平衡器使用循环方法来服务工作负载。一次为每个工作节点分配一个单元。当工作完成时，节点将完成的工作负载连同额外的经过时间数据返回给主节点。如果还有

Apache Mesos系列教程，Mesos是 Apache ...Mesos结合容器化技术提供了有效的，跨分布式应用或框架的资源隔离和分享机制，可以做为 Hadoop，MPI，Hypertable，Spark， ElasticSearch 等各种分布式应用的资源管理平台。

动态负载平衡库是一个动态库，旨在通过在内部并行度（例如，内部）上动态重新分配计算资源来提高外部并行度（例如，MPI）的负载平衡，从而加快HPC混合应用程序（即两个并行度）的速度。，OpenMP）。在运行时。这种动态性使DLB可以对不平衡的不同来源做出React：算法，数据，硬件体系结构和资源可用性等等。闲置时借出 LeWI（闲置时借出）是一种算法，用于将未使用的计算资源从一个进程重新分配到同一共享内存节点内的另一个进程，以加快其执行速度。动态资源所有权管理器 DROM（动态资源所有权管理器）是用于管理运行共享内存编程模型（例如OpenMP）的进程的CPU亲和力的算法。跟踪应用程序生命周期性能 TALP（跟踪应用程序生命周期性能）是用于从应用程序收集性能数据的模块。数据可以在执行过程中获得，也可以在最后作为报告获得。安装建造要求运行GNU / Linux的受支持平台（

而MPI仅仅是一个并行计算标准，没有相应的分布式文件系统的支撑，在大数据场景下大文件的存储及访问都会成为一个问题，同时用户还需要考虑集群节点之间的通信协调、容错等问题，这些使得MPI的编程难度比较大，集群本身的规模也很难做到像MapReduce那样的超大规模。2.使用虚拟进程，虚拟进程(MPI_ PROC_ NULL)是不存在的假想进程，在MPI中的主要作用是充当真实进程通信的目或源，引入虚拟进程的目的是为了在某些情况下编写通信语句的方便。MPI是一种基于消息传递的并行编程技术，而不是一种具体的编程语言。

英特尔边缘计算技术

566

社区成员

7,027

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章