并行计算基础：判据与系统结构

"这篇讲义主要探讨了并行计算的相关概念和原则，包括并行计算的结构、算法和编程方面。课程分为四个部分，详细介绍了并行计算机系统、并行算法设计、并行数值算法以及并行程序设计。在讨论划分判据时，提到了灵活性、冗余计算和存储的避免、任务尺寸的均衡、任务数与问题尺寸的比例以及功能分解的合理性，这些都是评估并行计算效率的关键因素。" 并行计算是利用多处理器或分布式计算资源同时处理任务，以提高计算速度和系统吞吐量。讲义中提到的第一篇并行计算的基础，涵盖了并行计算机系统及其结构模型，如SMP（对称多处理）、MPP（大规模并行处理）和Cluster（集群）。这些结构模型是实现并行计算的基础，它们的互连方式、静态和动态互联网络，以及标准互联网络的选择，都会影响系统的性能和可扩展性。 第二篇并行算法设计深入探讨了如何有效地将任务分解，确保并行化后的算法效率。这部分包括设计基础、一般设计方法、基本设计技术和设计过程，旨在指导开发者创建适合并行计算的高效算法。其中，划分判据的五个关键点是： 1. 灵活性：划分应允许在运行时动态调整，以适应不同的工作负载和资源可用性。 2. 避免冗余计算和存储：有效的划分应最小化重复计算和数据存储，以减少资源浪费。 3. 任务尺寸大致相当：确保各子任务的工作量平衡，防止某些节点过载，从而最大化并行效率。 4. 任务数与问题尺寸成比例：任务数量应与问题的规模成正比，以便资源分配合理，避免过度或不足的并行化。 5. 功能分解的合理性：分解应基于算法的内在结构，确保分解后的子任务可以独立执行且结果能正确组合。 第三篇涉及并行数值算法，如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换，这些都是科学计算中的核心问题，并行处理这些算法可以显著提升计算速度。 第四篇则关注并行程序设计，包括基础理论、编程模型、共享和分布存储系统的编程实践，以及并行程序设计环境和工具的使用，这些都是并行计算实际应用中必不可少的知识。 该讲义全面覆盖了并行计算的多个层面，对于理解和实践并行计算有着重要的指导价值。通过学习这些内容，读者将能够更好地理解如何设计和优化并行算法，以及如何在各种并行计算机系统上有效地编写和运行并行程序。