InfiniBand技术详解：低延迟、高带宽的处理器互联网络

"InfiniBand 是一种用于连接处理器节点和 I/O 节点以构建系统区域网络的网络架构，它独立于主机操作系统（OS）和处理器平台。InfiniBand 是一个开放标准，非专有技术，具有低延迟（<3 微秒）和高带宽（每个端口高达 120Gbps）的特点，采用远程直接内存访问（RDMA）技术，支持 CPU 卸载，可使用铜缆和光纤，并且能够绕过操作系统内核。" InfiniBand（IB）是一种先进的通信协议，设计用于在高性能计算、数据中心和存储应用中实现高效的节点间通信。其核心特性包括以下几个方面： 1. **开放标准**：InfiniBand 不受任何单一厂商控制，而是由InfiniBand Trade Association (IBTA) 维护和发展的开放标准，这鼓励了多供应商的兼容性和创新。 2. **低延迟与高带宽**：IB 的低延迟特性使得数据传输快速响应，这对于实时处理和高频率交易至关重要。高带宽则允许大量数据在短时间内传输，提高整体系统性能。 3. **远程直接内存访问（RDMA）**：RDMA 允许数据直接在内存之间传输，无需CPU干预，降低了CPU负载，提高了系统效率。 4. **CPU 卸载**：通过将某些网络操作转移到硬件，InfiniBand 可以减少CPU的负担，使CPU可以专注于应用程序的计算任务。 5. **电缆类型**：支持铜缆和光纤，这提供了灵活性，可以根据环境需求选择合适的传输介质，铜缆适合短距离高速传输，光纤则适用于长距离且带宽需求高的场景。 6. **操作系统内核旁路**：IB 支持绕过操作系统内核进行数据传输，减少了内核上下文切换的开销，进一步降低了延迟。 7. **核心概念**：在InfiniBand体系结构中，有多个关键术语，如： - LID（Local Identifier）是子网中分配给任何端口的本地标识符。 - GID（Global Identifier）是128位地址，用于识别多播组的端点。 - QP（Queue Pair）是一对队列，分别用于发送和接收操作。 - CQ（Completion Queue）记录完成的操作。 - PD（Protection Domain）管理内存资源的安全。 - MR（Memory Region）定义了可供网络访问的内存区域。 - MW（Memory Window）是在两个设备间共享的内存视图。 - AV（Address Vector）包含了连接信息。 - WR（Work Request）是发起网络操作的指令。 - WQE（Work Queue Entry）是WR在硬件队列中的表示。 - SR（Send Request）、RR（Receive Request）分别代表发送和接收请求。 - CQE（Completion Queue Entry）是记录操作完成的条目。 InfiniBand 的这些特性使其成为高性能计算、大规模并行处理、存储区域网络和数据中心互连的理想选择，能够提供高效能、低延迟的数据传输和资源管理。通过深入理解InfiniBand的工作原理和组件，开发者和管理员可以更好地优化他们的系统，提升整体性能和可靠性。