并行计算基础：通信子与MPI消息传递

"这篇讲义来自中国科学技术大学，主题为并行计算，涵盖了并行计算机系统结构、并行算法设计、基本通信操作等多个方面。通信子(communicator)是MPI中处理进程间通信的核心概念，它由一个进程组和上下文组成，用于标识并组织参与并行计算的进程。" 在并行计算中，通信子(communicator)是MPI（Message Passing Interface）编程模型中的一个重要概念。通信子代表了一个进程组，这个组是由有限个进程构成的有序集合，每个进程都有其唯一的编号。通过调用MPI函数`MPI_Comm_size`可以获取通信子内的进程组大小（group size），而`MPI_Comm_rank`则用于获取当前进程在组内的编号（my_rank）。这些编号对于进程间的同步和通信至关重要，因为它们定义了数据交换的路径。 并行计算是解决复杂计算问题的有效手段，通常涉及SMP（Symmetric MultiProcessing，对称多处理器）、MPP（Massively Parallel Processing，大规模并行处理）和Cluster（集群）等不同类型的并行计算机系统结构。在这样的系统中，性能评测、并行算法设计和实现是关键环节。 在并行算法的设计中，理解基础理论和一般设计方法是非常重要的。讲义提到了第四章至第七章将介绍并行算法设计基础、一般设计方法、基本设计技术和设计过程。第八章则专门讨论基本通信操作，这是并行计算中不可或缺的部分，因为进程间的通信是并行算法实现的关键。 在并行数值算法部分，如第九章稠密矩阵运算和第十章线性方程组的求解，通常会涉及到高效的并行化策略，例如分布式存储系统编程和共享存储系统编程。这些章节旨在教授如何在并行环境中优化计算密集型任务。 并行程序设计不仅涉及语言基础，还包括并行程序设计模型的选择，如MPI或OpenMP等，并行程序设计环境和工具的使用。第十二章至第十五章将深入探讨这些主题，以帮助开发者更好地理解和利用并行计算资源。 通过对并行计算机系统结构、互连网络（如静态、动态和标准互联网络）以及并行计算机访问模式的了解，开发者能够更好地理解并行计算的底层机制，从而编写出高效、可扩展的并行程序。在实际应用中，如科学计算、大数据处理等领域，这些知识对于实现高性能计算至关重要。