并行计算深入探索：机群系统与并行算法

"典型的机群系统-并行计算(中科大讲义)" 并行计算是一种同时利用多台计算机或处理器执行任务的技术，它旨在提高计算效率和解决大规模计算问题。本讲义聚焦于机群系统，一种经济高效且灵活的并行计算平台。机群系统通常由商业个人计算机（PC）组成，通过专用网络接口相互连接，形成共享虚拟存储的环境，以支持高效通信。例如，Princeton的SHRIMP系统利用PC组件构建，而Karsruhe的Parastation设计了有效通信网络和软件开发框架，旨在促进分布并行处理。 Rice大学的TreadMarks是软件实现的分布式共享存储工作站机群，Wisconsin的Wind Tunnel项目则在商业网络互连的工作站上实现了类似的目标。国家可扩放机群计划（如NSCP）展示了如何通过互联网连接多个本地机群进行元计算，例如在Chicago、Maryland和Penns实施的案例。Argonne的Globus项目在更广阔的范围内，利用ATM网络连接北美17个站点的广域网（WAN）来开发元计算平台和软件。Syracuse的WWVM利用互联网和高性能计算中心（HPCC）技术进行全球范围内的高性能计算。香港大学的Pearl Cluster则专门针对分布式多媒体和金融数据库应用进行了研究。最后，Virginia的Legion项目致力于在国家虚拟计算机设施上开发元计算软件。 讲义详细阐述了并行计算的结构、算法和编程。首先，介绍了并行计算的基础，包括并行计算机系统及其结构模型，如SMP（对称多处理器）、MPP（大规模并行处理）和Cluster（机群）。接着，讨论了并行计算的性能评测标准，以及如何设计高效的并行算法，涵盖设计基础、一般设计方法、基本设计技术和设计过程。在并行数值算法部分，讲解了基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换等关键概念。最后，深入探讨了并行程序设计，包括基础理论、编程模型、共享存储系统和分布存储系统编程，以及并行程序设计环境和工具。 通过这些章节的学习，读者可以全面理解并行计算的原理，掌握设计并行算法和编写并行程序的技能，以及在实际机群系统中部署并行应用的实践知识。