并行计算复习重点：MMP、DSM与集群系统解析

"并行计算复习资料答案.pdf" 并行计算是一种计算技术，它涉及多台计算机或处理器同时处理任务，以提高计算效率和解决问题的速度。本文主要探讨了几种不同的并行计算模型及其特点。 首先，MMP（大规模并行处理机）是一种特殊的计算机系统，其特征在于使用商业微处理器作为处理节点，拥有物理上分布的存储器，并通过专门设计的高带宽、低延迟的互联网络连接。MMP系统可以扩展到数千甚至上万个处理器，主要应用于科学计算、工程模拟和信号处理等领域。这种系统是异步的MIMD（多指令多数据）机器，每个进程都有自己的地址空间，并通过消息传递进行通信。 其次，DSM（分布式共享存储）是一种并行计算模型，其中存储被物理地分布在各个节点中，但对用户来说，它表现为单一的共享内存空间。为了保持一致性，DSM系统通常使用高速缓存目录（DIR）来管理分布式的高速缓存。与MPP（大规模并行处理）相比，DSM在编程上更为简单，因为它的编程模型更接近传统的共享内存编程。 接着，Cluster/COW（计算机工作机组）是一种经济高效的选择，它由无头工作站组成，即没有显示器、键盘和鼠标的完整工作站，也可以是个人计算机或SMP（对称多处理）系统。这些节点通过标准网络互连，每个节点都有本地磁盘，运行完整的操作系统，如工作站UNIX。与MPP相比，COW在性价比上有优势，且随着技术的发展，两者之间的界限逐渐模糊。 接下来，我们比较了几种不同的内存访问架构： - UMA（统一内存访问）：所有处理器都可以以相同的方式访问内存，没有明显的距离或速度差异。 - NUMA（非统一内存访问）：不同处理器访问局部内存更快，访问远程内存较慢。 - CC-NUMA（Cache-Coherent NUMA）：在NUMA基础上增加了缓存一致性机制，确保所有处理器看到的内存状态是一致的。 - CORMA和NORMA则是对NUMA架构的扩展和优化，旨在解决跨节点的通信和内存访问问题。 最后，我们提到了几种计算模型： - HPC（高性能计算）：指的是用于解决复杂计算问题的能力，如气候建模、分子模拟等。 - HPCC（高性能计算和通信计划）：强调高性能计算与通信的结合，以促进数据密集型应用的发展。 - 分布式计算：多个独立的计算节点协同工作，共同解决一个问题。 - 云计算：基于互联网的计算服务模式，提供按需计算资源，包括计算能力、存储和应用程序服务。 这些概念和技术构成了并行计算的基础，它们在现代科学、工程和商业应用中发挥着关键作用，推动了大数据处理和高级分析的进步。理解并掌握这些知识对于在并行计算领域工作或研究的人来说至关重要。