MPI并行编程_mimd和mpmd-程序员宅基地

技术标签： cloud computing

1.MPI简介

（回顾并行编程的四种模式）

SIMD-单指令多数据处理器是“锁步”：每个处理器对不同数据同步执行单指令。

SPMD-单程序多数据处理器的异步运行一个程序的个人副本。

MIMD-多指令多数据处理器异步运行：每个处理器都有自己的数据和自己的指令。

MPMD-多程序多数据处理器异步运行：每个处理器都有自己的数据和自己的程序。

（1）分布式内存和共享内存

分布式内存指的是多处理器计算机系统中，每个处理器都有自己的私有内存。计算任务只能对本地数据进行操作，如果需要远程数据，计算任务必须与一个或多个远程处理器通信。与此相反，共享内存多处理机提供了可供所有处理器使用的单个内存空间。

① 分布式内存：每个进程有自己的地址空间，所以对每个进程来说数据是本地的；数据共享通过显式消息传递实现（通过网络）。---如：MPI

对于分布式内存系统，发送方进程发出一个发送调用，而接收方进程发出一个相应的接收调用。

②共享内存：共享内存是由多个程序同时访问的内存，其目的是提供它们之间的通信或避免冗余副本。共享内存系统可以使用：

UMA（统一内存访问 uniform memory access）：所有处理器共享内存的一致

NUMA（非统一内存访问non- uniform memory access ）：内存访问时间取决于内存位置相对于处理器

COMA（cache-only memory architecture）：每个节点的处理器的本地存储器用作缓存，而不是作为实际主存。

共享内存中，所有线程可以访问的全局地址空间。数据共享通过/读写相同的内存位置的实现。

（2）什么是MPI

Message Passing Interface ：消息传递接口

MPI是由一组来自学术界和工业界的研究人员建立在各种并行计算体系结构设计的一个标准化的和便携式的消息传递系统。该标准定义了一个核心库例程的语法和语义，这些库例程对于广大用户用 C，C++和Fortran 编写可移植的消息传递程序很有用。

MPI为消息传递定义了一个标准的API接口。标准包括：一组核心函数的语法和语义；标准不包括：实施细节和运行时细节（代码存在于多少进程）。 MPI提供了C／C++和Fortran绑定。

（3）为什么使用MPI？

标准化Standardized：并行编程的事实标准。

可移植性Portability：几乎所有平台都可以使用MPI实现。

可伸缩性Scalability：在某种意义上，它不受可以访问相同内存空间的处理器数量的限制。

流行性广泛性Popularity：许多库是基于MPI，如PETSc，MPE，ScaLAPACK，PLAPACK等。

（4） MPI的标准中包括什么？

点对点通信；集群操作；进程组、通信上下文和进程拓扑；环境管理和调查；过程创建和管理；其他功能。

编程结构：Initialization and Termination、Getting Communicator Information

    
    
    
     
     
      # include "mpi.h"
     
      int main (int argc, char *argv[]){
        
         
     
      MPI_Init (&argc, &argv);
     
      MPI_Comm_size (COMM, &p);
     
      MPI_Comm_rank (COMM, &id);
     
      Communicate & Compute;
     
      MPI_Finalize( );
     
      return 0;
     
      }

C ommunicator： Encapsulate all of these ideas in order to provide the appropriate scope for all communication operations。

可被看做一组有序的进程，每个进程有一个独有的rank，是运行背景。

MPI_COMM_WORLD，默认的communicator，包含所有进程，它是MPI定义的允许程序里所有进程运行期间互相通信的通信者，或者是点对点通信，又或者是集合通信。然而对于一些应用，可能需要在选定的一个子进程组里进行通信。

通信者有两类：内部通信者（intra-communicator）和互联通信者（inter-communicator）。内部通信者处理通信者个体里的进程间的通信，而互联通信者处理内部通信者之间的通信。A process can belong to multiple communicators.本质上来说，内部通信者是MPI_COMM_WORLD的进程的子集。我们主要专注于内部通信者。需要新的通信者的原因经常是因为要处理矩阵的行、列或子块等需求。这些通信者通常和一个虚拟拓扑关联－－比笛卡尔拓扑常用－－来辅助并行操作的实现。此外，通信者的使用，经常和虚拟拓扑一起，通常增强了程序的可读性和可维护性。

1）点对点通信：点对点通信是MPI中最基本的通信形式，它允许程序通过一个特定的communicator将消息从一个进程发送到另一个进程。源进程发送消息到目的地的过程；通信发生在一个 communicator中；目的地的过程是通过它在通信子的rank。

注意： “Completion完成”意味着可以安全地访问消息传递中使用的内存位置。对于发送者：发送变量在完成后可以重复使用。对于接收者：接收到的变量现在可以使用。

MPI通信方式的不同在于，接收端的完成需要什么条件—— 通信模式可以阻塞或非阻塞。

阻塞：函数调用的返回意味着完成；

非阻塞：从调用返回而不等待任务完成。

**阻塞通信模式：

① 标准模式：由MPI来决定传出的消息是否会被缓冲。

MPI可以缓冲区发送消息。在调用相应的的接收之前，发送调用可以完成。

MPI不能缓冲区发送消息。直到匹配的接收被发送，数据已被移动到接收方时，发送调用才会完成。标准模式发送是non-local非本地的：发送操作的成功完成可能取决于相应接收的发生。

② 缓冲模式：无论是否已有对应的接收发送操作都可以启动。

发送可以在匹配接收之前完成。

它是本地的：完成并不取决于匹配接收的发生。如果冲空间不足，会出现错误。可用的缓冲区空间的数量是由用户控制。想要缓冲模式有效，由用户来分配的缓冲区可能是必须的。

③ 同步模式：Send can start whether or not a matching receive was posted。

发送只有当匹配的接收发布，且接收操作开始接收发送端同步发送的消息时才会完成。这种模式是非本地的。

④ ready mode：只有当匹配接收已经发布时，才可以开始发送。发送不取决于匹配的接收的状态，而仅仅表明发送缓冲区可以重复使用。

**非阻塞通信模式：重叠的通信和计算

非阻塞发送（接收）的开始调用启动发送（接收）的操作，但不完成它。因此，在缓冲区可以安全地重新使用之前，发送/接收就将返回。完成通信需要单独的发送/接收完成调用，确认数据已经转移。非阻塞接收的使用也可避免系统缓存和内存到内存的复制。

把非阻塞通信分为三个部分：

初始化非阻塞传输-> 做一些不涉及传输中的数据的其他工作-> 等待非阻塞通信完成.

函数的句法结构：例如 MPI_ Isend 函数int MPI_Isend(const void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request)

2）集群通信：一对多多对一多对多

集群通信的三中类型：数据移动 Data movement •集体计算 Collective computation •同步 Synchronization

All collective communications are blocking

集群通信与点对点通信的对比：

a.更简洁的程序：一个集体的操作可以代替多个点对点的操作

b.优化的集体通信通常比相应的点对点通信速度更快

Data movement（看图）

①Broadcast copies data from the memory of one processor to that of other processors —— One to all operation；

②Gather copies data from each process to one process, where it is stored in rank order—— One to all operation；

③Scatter:Typically data is in an array on the root process and we want to send a different portion of the array to each worker process (often including the root)；

④Gather-to-all：The block of data sent from the j-th process is received by every process and placed in the j-th block of the buffer recvbuf；

⑤All-to-all：The j-th block sent from process i is received by process j and is placed in the i-th block of recvbuf。

Collective computation

①Reduce：MPI reduction collects data from each process, reduces them to a single value, and store it in the memory of one process；

②MPI allreduce collects data from each process, reduces them to a single value, and store it in the memory of EVERY process；

③Scan performs a prefix reduction on data distributed across the group. The operation returns, in the receive buffer of the process with rank i, the reduction of the values in the send buffers of processes with ranks 0,…,i(inclusive).

（5）并行程序设计parallel programs

①分解。将要执行的计算和由该计算操作的数据分解成小任务。

②通信。协调任务执行所需的通信是确定了的，并定义了适当的通信结构和算法。

③聚集。在设计的前两个阶段中定义的任务和通信结构将根据性能要求和实现成本进行评估。如果有必要，将任务组合成更大的任务，以提高性能或降低开发成本。

④映射。每个任务被分配给处理器，试图满足最大化处理器利用率和最小化通信成本的竞争目标。映射可以指定静态或在运行时确定的负载均衡算法。

白话补充~~

MPI是分布式计算的基础接口架构，他有很多实现，比如intelMPI openMPI等等，而这些具体实现了这些接口里面的内容，比如一些通信协议。 MPI有几个很重要的概念rank, group, communicator, type, pack, spawn, window, 理解了这些概念MPI就算入门了。

group是MPI一个很重要的概念，一台电脑可以属于多个group，group的正真强大体现在可以随时随地的组合任意group，然后利用gourp内，和group间的communicator，可以很容易实现复杂科学计算的中间过程，比如奇数rank一个group，偶数另一个group，或者拓扑结构的group，这样可以解决很多复杂问题，另外MPI还有一个默认的全局的group，他就是comm world，一般简单的应用有了这一个group已经足够了。

rank就是任意group内的一个计算单元，利用rank我们可以很轻松的实现 client server的架构，比如rank＝0是server其他就是client。

communicator就是各种通信，比如一对一，一对多，多对一，其中多往往代表着一个group, 在传输过程中tag还是很有用的可以用来区别不同的任务类型，一般都是先解析tag，然后再解析具体的数据内容，这里要有一个信封和信内容的差别的概念，理解了这样的差别，可以很好的扩展程序。

type是MPI的自定义类型，由于通常编程的时候常用struct 数组和离散的变量，这些东西不能直接进行通信，然后MPI同样有一套这样的定义，我们可以转化成MPI的格式，这样就可以很自由的通信了。

Pack，就是把离散的数据打包起来，方便传送，其实这个作用和type很类似，如果你不想很麻烦的定义type直接打包发送。

spawn是区分MPI一代和二代的一个重要的标志，有了spawn，就可以在运行过程中自动的改变process的数量，可能复杂的软件才有这样的需求。

window远程的控制同一个文件，只有在网络条件很好的时候用这个才有意义，否则会让软件效率变得很糟糕。

2.API总结

<点对点>

   
   
   
    
    
     MPI_Send(//标准模式
    
     void* data,//starting address of the data to be sent
    
     int count,
    
     MPI_Datatype datatype,
    
     int destination,
    
     int tag,
    
     MPI_Comm comm)

    
    
    
     
     
      MPI_Recv(
     
      

     
      void* data,//starting address of buffer to store message
     
      int count,
     
      MPI_Datatype datatype,
     
      int source,
     
      int tag,
     
      MPI_Comm comm,
     
      MPI_Status* status)

buffered mode: MPI_BSend

Synchronous mode : MPI_Ssend

Ready mode : MPI_Rsend

<集合通信> ——都是blocking的

三种类型：数据移动、集合计算、同步

数据移动：

   
   
   
    
    
     int MPI_Bcast(//one to all 操作
    
     void* buffer,
    
     int count,
    
     MPI_Datatype datatype,
    
     int root,
    
     MPI_Comm comm)

    
    
    
     
     
      int MPI_Gather(//one to all 操作
     
      const void* sendbuf,
     
      int sendcount,
     
      MPI_Datatype sendtype,
     
      void* recvbuf,//address of receive buffer (significant only at root)

     
      int recvcount,
     
      MPI_Datatype recvtype,
     
      int root,//rank of receiving process

     
      MPI_Comm comm)

gather 例：

       
       
       
        
        
         #include<stdio.h>
        
         #include<stdlib.h>
        
         #include<time.h>
        
         #include<string.h>
        
         #include<mpi.h>
        
         int main(int argc, char** argv)
        
         {
           
            
        
                 MPI_Comm comm = MPI_COMM_WORLD;
        
                 int size,rank,sbuf[3],*rbuf,i;
        
                 MPI_Init(&argc, &argv);
        
                 MPI_Comm_size(comm, &size);
        
                 MPI_Comm_rank(comm, &rank);
        
                 for(i=0;i<3;i++)
        
                         sbuf[i]=rank*10+i;//每一个进程都有一个sbuf
        
                 if(rank==0)
        
                         rbuf=(int*)malloc(sizeof(int)*3*size);//只有root里才分配内存
        
                 MPI_Gather(sbuf,3,MPI_INT,rbuf,3,MPI_INT,0,MPI_COMM_WORLD);
        
                 if(rank==0)
        
                 {
           
            
        
                         printf("Process 0 receives:");
        
                         for(i=0;i<size*3;i++)
        
                         printf("%d",rbuf[i]);
        
                         putchar('\n');
        
                 }
        
                 MPI_Finalize();
        
                 return 0;
        
         }

     
     
     
      
      
       int MPI_Scatter (
      
       void * sendbuf , // pointer to send buffer
      
       int sendcount , // items to send per process
      
       MPI_Datatype sendtype , // type of send buffer data

本文链接：https://blog.csdn.net/czl_Lynn/article/details/74639183

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios