并行计算入门：共享存储与OpenMP

本文主要介绍了并行程序设计的相关知识，提到了一些重要的参考文献，并简要概述了共享存储并行程序和消息传递并行程序的基本概念。 并行程序设计是计算机科学中的一个重要领域，它涉及如何利用多处理器或分布式计算资源来提高计算效率和解决问题的能力。在并行程序设计中，有两种主要的模型：共享存储并行和消息传递并行。 1. 共享存储并行程序简介： 共享存储并行程序中，多台处理机通过互联网络连接在一起，它们共享同一块内存空间，从而能够通过单一的内存地址进行通信和协调工作。这种模型允许处理机之间直接访问所有数据，但同时也可能导致内存竞争问题，即当多个处理机尝试同时访问和修改同一内存位置时，可能会影响程序的性能。由于可扩展性较差，共享存储模型通常更适合解决中小规模的计算问题和事务处理。 2. 多线程程序与OpenMP： 在共享存储并行中，多线程是一种常见的编程方式。多线程程序允许多个执行路径（线程）同时运行，共享同一内存空间。OpenMP（Open Multi-Processing）是一种开放的API，用于支持共享内存并行编程，它提供了库函数和编译器指令，使得程序员可以在Fortran、C和C++等语言中方便地编写多线程并行程序。 3. 消息传递并行程序简介： 消息传递并行（如PVM - Parallel Virtual Machine 和 MPI - Message Passing Interface）是另一种并行编程模型。在这种模型中，每个处理机拥有自己的独立内存，它们通过交换消息来进行通信。MPI是一个广泛使用的标准接口，提供了一组丰富的通信原语，用于开发跨平台的消息传递并行应用程序。与共享存储相比，消息传递并行更适用于大规模的分布式计算环境，因为它具有更好的可扩展性。 4. MPI并行程序编译与运行： 编写完MPI程序后，需要使用特定的编译器和链接器选项进行编译，如mpicc、mpic++等。运行时，通常使用mpiexec或mpirun等工具来启动和管理并行进程。MPI程序的性能优化往往涉及到合理调度进程、有效利用通信机制以及减少通信开销等策略。 这些书籍和文献为学习并行计算提供了宝贵的资源，包括黄铠、徐志伟的《可扩展并行计算技术》、陈国良的《并行计算》、Barry Wilkinson和Michael Allen的《Parallel Programming》、李晓梅和莫则尧的《可扩展并行算法的设计与分析》、张宝琳和谷同祥的《数值并行计算原理与方法》以及都志辉的《高性能计算并行编程技术》等，涵盖了并行计算的基础理论、结构、算法和编程实践。通过深入研究这些资料，开发者可以掌握并行程序设计的关键技术和实践经验。