并行计算：现状、设计与挑战——SMP与MPP对比

并行计算现状与并行编程模式的研究概述 并行计算是一种利用多处理器或多核心架构来加速任务执行的技术，其核心在于将复杂的任务分解为多个子任务，这些子任务可以在同一时间内在不同的处理器上独立执行，从而显著提升计算效率。本文主要关注于并行算法的设计和在不同类型的并行计算平台上实施。 1. 自动并行与手工并行 在SMP/DSM（Symmetric Multi-Processing/Non-Uniform Memory Access）并行计算机上，如SGI Power Challenge和SUN E10000等，编译系统通常提供一定程度的自动并行化能力，比如OpenMP、PV/M/MPI和HPF等编程模型。然而，这需要用户的指导，通过制导语句和命令行选项进行干预，特别针对循环级别的并行操作。相比之下，在分布式内存并行机（如MPP，Massively Parallel Processors）上，由于内存不共享，程序设计几乎完全依赖于手工编写并行代码，没有自动化的辅助工具。 2. 并行算法设计方法 并行算法设计是一个关键环节，包括基本知识的掌握、性能评测、一般设计方法和基本技术。设计过程通常涉及分析问题的并行性，选择合适的并行策略（如分而治之），以及如何有效地划分和同步任务。设计技术可能涵盖数据并行、任务并行、流水线并行等多种方法。 3. 现代计算机的并行特性 现代计算机普遍具有并行性，这是其性能提升的重要驱动力。尽管并行计算不是新概念，但将其广泛应用到实际编程中仍面临挑战，需要时间积累经验和开发有效的编程技术。Gill在1958年的论文中强调了这一点，并指出并行编程将激发编程人员的创新精神。 4. 并行计算的应用价值 并行计算可以降低单个问题的解决时间，扩大问题规模，提高整体吞吐率，使得多台机器能同时执行多个任务。这对于处理大数据、科学计算和高性能计算等领域至关重要。 5. 并行计算硬件类型 - SMP/共享内存计算机：如SMP架构，如PowerChallenge，共享内存使程序设计相对直观，但受制于系统总线带宽，适合中小规模并行。 - MPP/分布内存计算机：如MPP架构，由大量独立处理节点组成，每个节点有自己的内存，通过高速网络互联，适合大规模并行，但编程复杂度较高。 总结来说，当前并行计算的核心问题是并行算法的设计和实现，以及如何在不同类型的硬件平台上有效地利用并行资源。随着硬件的发展和编程技术的进步，未来并行计算将在更多领域得到广泛应用。