并行计算详解：SMP、MPP与机群对比

"SMP\MPP\机群比较-并行计算（中科大讲义）" 在并行计算领域，SMP（Symmetric Multi-Processing，对称多处理）、MPP（Massively Parallel Processing，大规模并行处理）以及机群（Cluster）是三种常见的并行计算架构，它们各自具有不同的特点和适用场景。 SMP架构是一种共享内存的并行计算模型，适用于处理中等规模的计算任务。在这种架构中，节点数量通常小于10个，每个节点的粒度可以是中等或精细，这意味着多个处理器共享同一片内存，通过总线或交叉开关进行通信。由于所有处理器能直接访问相同的内存，因此无需复杂的通信协议。然而，由于只有一个操作系统，系统的可用性相对较低，且性能价格比一般。 MPP架构则更为庞大，节点数量在100到1000之间，每个节点的粒度可细可中，通常采用消息传递作为节点间的通信方式，这可能涉及到非标准的网络协议。MPP系统可能使用微内核或者单一主机OS，但为了实现高效并行，通常希望所有节点是同构的。尽管MPP系统可能提供单一系统映像（SSI），但不是总是如此，其可用性和容错能力比SMP稍低。 机群架构是一种分布式内存的并行计算模型，它由大量的独立节点组成，节点数量可能小于100。节点间的通信通过消息传递完成，可以使用标准或非标准的网络协议。机群的优势在于高度的可扩展性和较高的性价比，因为每个节点可以运行自己的操作系统，并且可以设计为高可用或容错的系统。 并行计算不仅涉及硬件结构，还包括算法设计和编程技术。课程的内容涵盖了并行计算的基础，如并行计算机系统结构模型、当代并行机系统（SMP、MPP和机群）、性能评测、并行算法设计基础和技术、并行数值算法（如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换）以及并行程序设计，包括共享存储和分布存储系统编程，以及相关的编程环境和工具。 并行计算的目的是通过同时处理多个任务来提高计算效率，解决科学和工程中的大规模计算问题。这需要深入理解不同架构的特性，选择合适的并行算法，以及熟练掌握并行编程技巧，以充分利用硬件资源，提高计算效率。