并行计算详解：通讯模式与系统结构

"这篇讲义来自国家高性能计算中心（合肥），涵盖了并行计算的多个方面，包括并行计算机系统结构模型、当代并行机系统、并行计算性能评测、并行算法设计、并行数值算法以及并行程序设计。特别强调了四种通讯模式：局部/全局通讯、结构化/非结构化通讯、静态/动态通讯、同步/异步通讯。" 在并行计算领域，理解并掌握这四种通讯模式至关重要。首先，局部通讯通常指的是在同一处理单元内部或相邻处理单元之间的通信，而全局通讯则涉及所有计算节点间的交互。局部通讯速度快，延迟低，适用于数据交换频繁的情况，而全局通讯则可能需要更复杂的协调机制。 结构化通讯是指遵循预定义规则的通信模式，例如在固定拓扑结构的网络中，如环形、星形或矩形网格中进行的信息传递。这种通讯方式易于理解和实现，但可能限制系统的灵活性。相比之下，非结构化通讯允许更自由的节点间连接，适应性强，但可能增加编程复杂性和通信开销。 静态通讯是指在程序开始执行时，通信路径和时间已知并固定不变。这种方式适合于任务分配明确且不需动态调整的系统。动态通讯则允许在运行时根据需要动态建立和改变通信路径，适应性更强，但可能导致更高的管理开销和潜在的同步问题。 同步通讯确保所有参与节点按照特定顺序执行，等待其他节点完成某项任务后才能继续，这对于保持数据一致性至关重要。然而，同步通讯可能导致阻塞和效率降低。异步通讯允许节点独立执行任务，提高并行度，但可能引入数据竞争和死锁问题，需要更复杂的同步机制来解决。 在并行计算的学习过程中，不仅需要理解这些通讯模式，还要深入探讨并行计算机系统结构，如SMP（对称多处理器）、MPP（大规模并行处理）和Cluster（集群）架构。此外，性能评测、并行算法设计基础和并行数值算法（如基本通信操作、稠密矩阵运算、线性方程组求解、快速傅里叶变换等）也是核心内容。最后，掌握并行程序设计，包括共享存储系统和分布式存储系统的编程，以及并行程序设计环境与工具的使用，是实现高效并行计算的关键。