并行计算结构解析：SMP、MPP与Cluster

"这篇讲义来自国家高性能计算中心（合肥），涵盖了并行计算的结构、算法和编程。主要内容包括五种并行计算的结构特性，如PVP、SMP、MPP、DSM和COW，以及它们在处理器类型、互连网络、通信机制、地址空间和存储器模型等方面的差异。此外，讲义还详细讨论了并行计算的基础、当代并行机系统（如SMP和MPP）、性能评测、并行算法设计、数值算法、并行程序设计等多个方面，旨在深入理解和应用并行计算技术。" 在并行计算领域，五种主要的结构特性分别是PVP（Processor Vector Processor）、SMP（Symmetric Multi-Processing）、MPP（Massively Parallel Processing）、DSM（Distributed Shared Memory）和COW（Cluster of Workstations）。这些特性分别对应不同的并行处理模型，每种模型都有其特定的应用场景和优势。 1. PVP，通常用于高性能计算，如Cray C-90和Cray T-90，采用定制的处理器和互连网络，提供专门的向量处理能力，适合执行大规模并行计算任务。 2. SMP，如IBM R50和SGI Power Challenge，是共享内存系统，所有处理器共享同一地址空间，通过总线或交叉开关进行通信，适用于多线程处理。 3. MPP，如Intel Paragon和IBM SP2，由大量独立的处理器通过定制网络连接，形成分布式内存系统，适合处理大规模数据密集型任务。 4. DSM，如曙光1000/2000，虽然每个处理器有自己的本地内存，但通过软件层实现全局地址空间共享，简化编程模型。 5. COW，如Alpha Farm，是一组工作站通过商业网络（如以太网或ATM）互连，构成集群，提供灵活的扩展性和成本效益。 讲义中还涉及了并行计算的基础理论，包括并行计算机系统的互连网络（静态、动态和标准）以及访存模型（UMA、NUMA和NORMA）。此外，还深入讲解了并行计算性能评测、并行算法设计的基本原则和技术，以及并行数值算法，如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换。最后，介绍了并行程序设计的基础知识，包括并行编程模型、共享和分布存储系统编程，以及并行程序设计环境和工具。 这篇讲义为读者提供了全面的并行计算知识框架，不仅阐述了并行计算的硬件结构，也涵盖了并行算法设计和编程实践，对于学习和研究并行计算具有很高的参考价值。