并行计算基础：计算机系统结构与算法设计

"预备知识-并行计算(中科大讲义)"\n\n并行计算是计算机科学领域的重要分支，特别是在高性能计算中扮演着核心角色。这篇中科大的讲义主要涵盖了并行计算的基础知识，包括计算机系统结构、并行算法设计以及并行程序设计等多个方面。\n\n首先，讲义介绍了并行计算的基本概念，如选路（Routing），它是网络或并行机上信息交换的关键，旨在确定信息从源头到目标的最优路径，要求路径延迟低、无死锁，并具备容错能力。接着，讲义提到了在并行计算中数据传输的基本单元，包括消息（Message）、包（Packet）和片（Flit）。消息是处理节点间传递的数据信息包，可以由任意数量的包组成；包是信息传输的最小单位，其长度根据不同的协议有所不同；片的长度通常是固定的，如8位，常用于内部数据传输。\n\n讲义分为四个部分，深入探讨了并行计算的各个方面。第一部分是并行计算的基础，包括并行计算机系统及其结构模型，如SMP（对称多处理器）、MPP（大规模并行处理）和Cluster（集群）等。第二部分关注并行计算的性能评测，这对于理解和优化并行系统至关重要。第三部分深入到并行算法的设计，从基础理论到一般设计方法和技术，再到具体的设计过程。这部分还讨论了基本通信操作、稠密矩阵运算和线性方程组的求解等数值算法。第四部分则涉及并行程序设计，涵盖并行程序设计基础、模型、共享存储和分布存储系统的编程，以及并行程序设计环境和工具。\n\n第一章深入讨论了并行计算的概念，指出其在计算科学中的重要地位，同时分析了当代科学与工程问题对计算能力的需求。并行计算机系统的互连部分详细阐述了系统互连的不同类型，如静态、动态互联网络和标准互联网络。此外，还介绍了并行计算机的结构模型，包括并行计算机的访问机制。\n\n这份讲义提供了全面的并行计算知识框架，对于理解并行计算的原理、设计和实现具有重要的参考价值。无论是对并行计算感兴趣的初学者，还是寻求深入研究的专业人士，都能从中受益匪浅。