并行计算：通信子与MPI基础

在"通信子(communicator):并行计算（中科大讲义）"中，主要讨论了并行计算中的核心概念和通信机制。通信子，作为并行计算中的关键组成部分，它涉及到进程组和上下文的管理。进程组是一组有序的、有限的进程集合，每个进程都有一个唯一的编号，通过MPI（Message Passing Interface，消息传递接口）库来实现进程间的通信。MPI_Comm_size和MPI_Comm_rank函数用于获取进程组的大小和进程自身的编号。 在并行计算中，消息的发送和接收是非常重要的操作，例如MPI_Send函数，它允许进程向特定目的地发送指定数量的数据，数据类型和一个标签，这些标签用于标识不同类型的消息。通信子在这里扮演了桥梁角色，确保不同进程之间的信息交换高效且有序。 课程内容覆盖了并行计算的基础，包括并行计算机系统的结构模型，如SMP（Symmetric Multi-Processing，对称多处理器）、MPP（Massively Parallel Processing，大规模并行处理）和Cluster（集群计算）。还介绍了性能评测，以及并行算法的设计，从基础到高级技术，如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换等。 并行程序设计是另一个核心部分，涵盖了并行程序设计基础、共享存储系统编程、分布存储系统并行编程，以及相关的环境和工具。这些建立在理解并行计算理论和通信机制之上，旨在帮助开发者设计和实现高效的并行程序，以解决当代科学和工程问题中的大规模计算需求。 总结来说，这个讲义深入浅出地讲解了并行计算中的通信子概念，以及如何通过MPI进行进程间通信，同时提供了一套完整的并行计算体系结构、算法设计和编程实践指南，对于理解和开发大规模并行应用至关重要。