并行计算基础与Linux机群构建

"并行计算程序设计" 这篇文档是2003年高性能计算培训班的材料，主要涵盖了并行计算的基础知识，包括并行计算的原理、并行计算机体系结构、Linux机群的构建以及矩阵并行计算的多种算法。作者包括迟学斌、张林波和莫则尧，内容可以从指定网址下载。 首先，文档的第一部分介绍了并行计算基础，讲解了并行计算的基本概念和重要性。并行计算是通过同时处理多个计算任务来提高计算效率，它在处理大数据量和复杂计算问题时显得尤为重要。 第二部分深入到并行计算机体系结构，讨论了并行计算机的不同架构类型，如共享内存、分布式内存等。此外，还特别关注了Linux机群，这是实现并行计算的一种经济有效的方式。文档详细阐述了构建Linux机群所需的要素，包括硬件选择、软件配置等，并列举了几种常见的Linux机群结构，如单台微机、日常使用的微机构成的机群以及专用并行机群。 在构建Linux机群的过程中，文档提供了详细的步骤，包括Linux的安装、MPICH（一种实现Message Passing Interface，即MPI的开源实现）的安装和配置。对于联网的多台机器，还涉及到了NFS（网络文件系统）、NIS（网络信息服务）和rsh（远程执行命令）的设置，这些都是在多节点环境中实现MPI并行环境的关键步骤。 第四部分专门讨论了矩阵并行计算，这是并行计算中的一个重要应用领域。文档详细介绍了多种矩阵相乘的并行算法，如行列划分、行行划分、列列划分、列行划分和Cannon算法。此外，还涉及了线性方程组的并行解法，包括分布式系统和共享存储系统的并行LU分解，以及对称正定线性方程组的Cholesky分解和其变种。最后，探讨了三对角方程组的并行解法，包括递推法和分裂法，以及异步并行迭代法。 整体来看，这份文档是学习并行计算和实施并行计算项目的一个宝贵资源，适合对高性能计算感兴趣的科研人员和技术人员参考。