并行计算中的通信开销与性能评测

"并行与通信开销-并行计算(中科大讲义)" 这篇资源主要探讨了并行计算中的一个重要概念——并行与通信开销，并介绍了如何衡量这些开销。在并行计算中，虽然可以同时执行多个计算任务，但通信过程（如数据交换）的开销往往不容忽视。例如，PowerPC架构的处理器可以在每个周期内执行4次浮点运算（flops），但如果创建一个新的进程就需要1.4毫秒，这个时间足以执行372000次flops，说明进程创建的开销远大于计算本身。 为了量化通信开销，文中提到了一种测量方法——乒-乓方法（Ping-Pong Scheme）。这种方法涉及两个节点，节点0向节点1发送m个字节的数据，然后节点1接收后立即回传给节点0。通过记录整个过程的时间并除以2，就可以得到单次发送或接收操作所需的时间。这种方法还可以扩展为更复杂的“热土豆法”（Hot-Potato）或“救火队法”（Fire-Brigade），用于多节点之间的通信延迟测试。 该资源可能出自中国科学技术大学的一份课程讲义，主题涵盖了并行计算的多个方面，包括并行计算机系统结构、算法设计和编程。课程分为四大部分： 1. 并行计算的基础，涉及并行计算机系统及其结构模型，如SMP（对称多处理）、MPP（大规模并行处理）和Cluster（集群）的介绍，以及并行计算性能评测。 2. 并行算法的设计，包括设计基础、一般设计方法和技术，以及设计过程。 3. 并行数值算法，讲解基本通信操作、稠密矩阵运算、线性方程组求解和快速傅里叶变换等。 4. 并行程序设计，涵盖并行程序设计基础、设计模型、共享和分布存储系统的编程，以及编程环境和工具。 在第一章中，讨论了并行计算的定义、其在计算科学中的作用，以及科学和工程问题的计算需求。此外，还深入研究了并行计算机系统互连的各个方面，如系统互连、静态和动态互联网络，以及标准互连网络。最后，介绍了并行计算机结构模型及其访存机制。 这份资料对于理解并行计算的性能瓶颈、优化通信效率以及掌握并行算法设计和编程至关重要，适合对并行计算感兴趣的学者和专业人士参考学习。