"这篇讲义来自国家高性能计算中心(合肥),涵盖了并行计算的结构、算法和编程。主要内容包括五种并行计算的结构特性,如PVP、SMP、MPP、DSM和COW,以及它们在处理器类型、互连网络、通信机制、地址空间和存储器模型等方面的差异。此外,讲义还详细讨论了并行计算的基础、当代并行机系统(如SMP和MPP)、性能评测、并行算法设计、数值算法、并行程序设计等多个方面,旨在深入理解和应用并行计算技术。"
在并行计算领域,五种主要的结构特性分别是PVP(Processor Vector Processor)、SMP(Symmetric Multi-Processing)、MPP(Massively Parallel Processing)、DSM(Distributed Shared Memory)和COW(Cluster of Workstations)。这些特性分别对应不同的并行处理模型,每种模型都有其特定的应用场景和优势。
1. PVP,通常用于高性能计算,如Cray C-90和Cray T-90,采用定制的处理器和互连网络,提供专门的向量处理能力,适合执行大规模并行计算任务。
2. SMP,如IBM R50和SGI Power Challenge,是共享内存系统,所有处理器共享同一地址空间,通过总线或交叉开关进行通信,适用于多线程处理。
3. MPP,如Intel Paragon和IBM SP2,由大量独立的处理器通过定制网络连接,形成分布式内存系统,适合处理大规模数据密集型任务。
4. DSM,如曙光1000/2000,虽然每个处理器有自己的本地内存,但通过软件层实现全局地址空间共享,简化编程模型。
5. COW,如Alpha Farm,是一组工作站通过商业网络(如以太网或ATM)互连,构成集群,提供灵活的扩展性和成本效益。
讲义中还涉及了并行计算的基础理论,包括并行计算机系统的互连网络(静态、动态和标准)以及访存模型(UMA、NUMA和NORMA)。此外,还深入讲解了并行计算性能评测、并行算法设计的基本原则和技术,以及并行数值算法,如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换。最后,介绍了并行程序设计的基础知识,包括并行编程模型、共享和分布存储系统编程,以及并行程序设计环境和工具。
这篇讲义为读者提供了全面的并行计算知识框架,不仅阐述了并行计算的硬件结构,也涵盖了并行算法设计和编程实践,对于学习和研究并行计算具有很高的参考价值。