并行计算详解：局部总线、I/O总线、SAN、LAN与系统结构

该讲义来自国家高性能计算中心（合肥），涵盖了并行计算的结构、算法和编程。主要内容包括并行计算机系统及其结构模型、当代并行机系统（如SMP、MPP和Cluster）、并行计算性能评测、并行算法设计基础与技术、并行数值算法（如基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换）以及并行程序设计（包括基础、模型、分布式存储系统编程和设计环境与工具）。 并行计算是利用多处理器同时处理数据，以提高计算速度和系统效率。在讲义的第一部分，介绍了并行计算的基础，阐述了并行计算在计算科学中的重要性，以及现代科学与工程问题对计算能力的需求。接着，讲解了并行计算机系统间的互连结构，包括静态互联网络、动态互连网络和标准互联网络。这些网络是构建并行计算机系统的关键，允许不同处理器间高效地交换信息。 并行计算机系统结构部分深入探讨了并行计算机结构模型，如共享内存系统（SMP）和分布式存储系统（如MPP和Cluster）。SMP系统中，多个处理器共享同一块物理内存，而MPP（大规模并行处理）和Cluster则采用多台计算机通过网络连接来实现并行处理，每台机器有自己的独立内存。 在性能评测方面，讲义涵盖了评估并行系统性能的方法，这对于优化和比较不同并行架构至关重要。并行算法设计部分则详细讨论了设计并行算法的基础、一般设计方法和技术，以及设计过程，旨在帮助开发者创建能充分利用并行计算资源的算法。 在数值算法章节，讲解了并行计算中常见的操作，如基本通信操作，这对于并行程序中的数据交换至关重要。此外，还详细研究了稠密矩阵运算、线性方程组的并行求解方法，以及快速傅里叶变换（FFT）的并行化实现，这些都是科学计算和工程应用中的核心计算任务。 最后，讲义介绍了并行程序设计，包括基础概念、编程模型，以及如何在共享存储和分布存储系统上进行编程。并行程序设计环境与工具的章节提供了如何利用现有的并行计算资源和工具进行开发的信息。 这份讲义全面覆盖了并行计算的各个方面，是学习并行计算原理、设计并行算法和编写并行程序的重要参考资料。