并行计算：SMP、MPP与机群系统比较

"SMP\MPP\机群比较-并行计算(中科大讲义)" 本文主要探讨了三种并行计算架构：SMP（对称多处理）、MPP（大规模并行处理）以及机群，并分析了它们的系统特征、性能和适用场景。以下是这些架构的详细比较： SMP（对称多处理）系统特征： - SMP系统通常包含较少的节点，数量不超过10个。 - 节点间的通信通过共享内存实现，这使得它们在中粒度或细粒度的任务上表现良好。 - 使用单一的操作系统，所有处理器共享同一地址空间。 - 作业调度相对简单，只有一个运行队列。 - 由于共享存储器，SMP系统的网络协议通常是非标准的。 - SMP系统的可用性和性能/价格比一般，适用于需要高速数据交换和协调的中等规模任务。 MPP（大规模并行处理）系统特征： - MPP系统节点数量较大，通常在100到1000之间。 - MPP系统的节点间通信通过消息传递完成，有时也可能使用共享变量（如DSM，分布式共享内存）。 - 每个节点可能有自己的操作系统，形成微内核或单一主机OS，期望是同构的，即所有节点硬件相同。 - 支持单一系统映像的情况有限。 - MPP系统的地址空间可以是多或单，取决于是否使用DSM。 - 调度更为复杂，可能有协作多队列。 - MPP系统的互连网络通常是定制的，性能通常优于SMP，但可用性较低，介于低到中等。 - 性能/价格比一般，适合处理大规模的并行任务。 机群（Cluster）系统特征： - 机群系统节点数量可能超过100，具有较高的可扩展性。 - 节点间的通信也基于消息传递，且通常使用标准网络协议。 - 机群中的每个节点可能运行独立的操作系统，期望是同构的，以简化管理。 - 机群系统不保证单一系统映像，但希望提供高可用性和容错能力。 - 地址空间通常是多个，每个节点独立。 - 作业调度可能更灵活，支持多队列协作。 - 互连网络可以是标准或非标准，机群系统的性能/价格比通常较高，适合需要高性价比和高可用性的大型计算任务。 并行计算的结构、算法和编程是多方面的研究领域，包括但不限于并行计算机系统结构模型、性能评测、并行算法设计基础和技术、并行数值算法如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换，以及并行程序设计基础、共享存储系统编程、分布存储系统编程和并行程序设计环境与工具。 这些内容对于理解并行计算的原理和实践至关重要，涵盖从理论基础到实际应用的全面知识，是学习和研究高性能计算的重要参考资料。