并行计算中的单边通信：MPI-2 RMA 概述

"单边通信-并行计算(中科大讲义)"，这份讲义源自中国科学技术大学，探讨了并行计算的多个方面，特别是MPI-2中的单边通信概念，以及并行计算的结构、算法和编程。 并行计算是解决复杂计算问题的有效手段，它通过同时执行多个计算任务来提升计算效率。MPI（Message Passing Interface）是并行计算中常用的一种通信协议，MPI-2引入了远程存储访问（RMA），这一特性使得一个进程可以在不需目标进程参与的情况下进行通信，即单边通信。这种通信模式提高了并行程序的灵活性和效率，特别是在处理大规模数据交换时，减少了通信等待时间。 并行计算的基础部分涵盖了并行计算机系统的结构模型，包括SMP（Symmetric Multi-Processing，对称多处理）、MPP（Massively Parallel Processing，大规模并行处理）和Cluster（集群）等不同的并行计算机系统类型。此外，还涉及并行计算性能评测，这是评估并行系统效率的关键。 并行算法的设计是讲义的重点之一，从设计基础、一般设计方法到具体的技术和设计过程，系统地介绍了如何针对并行环境优化算法。在并行数值算法中，讲义讨论了基本通信操作、稠密矩阵运算、线性方程组的求解以及快速傅里叶变换（FFT）等关键计算问题的并行实现。 并行程序设计章节则深入讲解了并行程序设计的基础知识，包括在共享存储系统和分布式存储系统中的编程模型。此外，还介绍了并行程序设计环境和工具，这些工具对于简化并行程序的开发和调试至关重要。 在第一章“并行计算机系统及其结构模型”中，讲义详细阐述了并行计算的概念，分析了当代科学与工程计算需求，以及各种互连网络，如静态互联、动态互联和标准互联网络，这些都是构建并行计算机系统结构的基础。 这份讲义是并行计算领域的深入教程，不仅探讨了MPI的高级特性，还全面覆盖了并行计算的体系结构、算法设计和编程实践，对于理解和掌握并行计算有极大的帮助。