并行计算基础：通信子与MPI消息传递

"这篇讲义来自中国科学技术大学，主题为并行计算，涵盖了从并行计算机系统结构到并行算法设计、数值算法以及并行程序设计等多个方面。通信子(communicator)是MPI中用于进程间通信的核心概念，它包含了进程组和上下文，是并行计算中进程间协作的基础。" 在并行计算中，通信子(communicator)扮演着至关重要的角色，它是MPI（Message Passing Interface）标准中的一个核心概念。通信子定义了一个进程组，这是一个有限且有序的进程集合，其中每个进程都有一个从0到n-1的唯一编号。进程组的大小（group size）和每个进程的编号（rank）可以通过调用MPI_Comm_size和MPI_Comm_rank函数获取。这些函数使得进程能够了解其在组内的位置，并与其他进程进行有效通信。 MPI中的消息传递是通过通信子实现的，例如MPI_Send函数用于发送数据到目的地进程。通信子提供了一种组织和管理进程间通信的框架，确保消息能够在正确的进程之间传递。在并行计算环境中，有效的通信是实现数据交换和协调的关键，这对于实现并行算法的正确性和效率至关重要。 讲义内容还涉及了并行计算的基础，包括并行计算机系统结构模型，如SMP（Symmetric Multi-Processing）、MPP（Massively Parallel Processing）和Cluster集群等不同类型的并行系统。此外，讲义还深入讨论了并行计算性能评测、并行算法设计基础和方法，以及并行数值算法，如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换等。 并行程序设计部分涵盖了从基础到高级的主题，包括并行程序设计模型、共享存储系统和分布式存储系统的编程，以及并行程序设计环境和工具的使用。这些内容旨在帮助学习者理解和掌握如何在不同的并行计算平台上编写高效的并行代码。 这份中科大的并行计算讲义提供了一个全面的学习资源，覆盖了从硬件结构到软件设计的整个并行计算领域，对于理解和实践并行计算技术具有很高的价值。