并行计算中的通讯机制：矩阵向量乘法算法

"并行算法的通讯-并行计算(中科大讲义)"，这份讲义主要探讨了在并行计算领域中的通讯机制以及并行计算的基础知识、系统结构、算法设计和编程等内容。 并行计算是利用多处理器或分布式计算资源同时处理任务，以提高计算效率和解决大规模计算问题的技术。在并行算法的通讯中，有两种主要的通讯方式： 1. **共享存储多处理器**：在这种架构中，处理器共享同一块内存，通过全局读写操作进行通信。例如，`global read(X,Y)`表示读取位置X和Y的数据，`global write(X,Y)`表示将数据写入位置X和Y。这种通讯方式简化了数据交换，但可能引发数据竞争和同步问题。 2. **分布存储多计算机**：在分布式内存系统中，每个处理器有自己的私有内存，需要通过消息传递进行通信。`send(X,i)`是从处理器i发送数据X到其他处理器，而`receive(Y,j)`是从处理器j接收数据到Y。算法4.2展示了分布存储多计算机上的矩阵向量乘法算法，其中处理器通过发送和接收消息来协作完成计算任务。 在并行计算的基础部分，涵盖了并行计算机系统结构模型、当代并行机系统如SMP（对称多处理器）、MPP（大规模并行处理）和Cluster（集群）。此外，还有性能评测、并行算法设计基础、一般设计方法和技术、设计过程等主题。 第三篇重点讨论了并行数值算法，包括基本通信操作，这对于在分布式环境中有效地协调计算至关重要。稠密矩阵运算、线性方程组求解和快速傅里叶变换（FFT）是科学计算中的核心问题，并行计算可以显著加速这些操作的执行速度。 最后，讲义还介绍了并行程序设计，从基础到具体实现，包括共享存储系统编程和分布存储系统编程，以及并行程序设计环境和工具，这些都是并行计算实践中不可或缺的部分。 这份讲义全面地覆盖了并行计算的多个方面，从硬件结构到软件设计，为理解和实践并行计算提供了坚实的基础。