理解胖树架构：IB网络的基础与路由策略

"初识胖树结构，探讨了InfiniBand (IB) 组网中的胖树架构，包括其组成部分、优点以及路由选择算法。本文档由Mellanox Technologies发布，作者冯高锋，时间2017年4月。" 在计算机网络特别是高性能计算领域，胖树(fat-tree)架构是一种广泛采用的网络拓扑结构，特别是在数据中心和大规模集群中。这种架构以它的稳定性和高效性著称，能够提供高带宽、低延迟的通信环境。 **InfiniBand组件** InfiniBand（IB）是胖树架构中常用的一种高速互连技术。它由以下关键组件构成： 1. **主机通道适配器(HCA)**：HCA是IB网络的入口，负责终结IB链路，并处理传输层功能，通过verbs接口与应用程序交互。 2. **交换机**：作为子网内的数据包路由器，交换机负责将数据包转发到正确的目的地。 3. **路由**：在不同的IB子网之间进行数据包路由的设备，确保跨子网通信的畅通。 4. **网桥**：实现InfiniBand和以太网之间的转换，使得两种不同网络标准的设备可以相互通信。 **胖树架构** 胖树拓扑是一种层次化的结构，通常由多层交换机组成，每一层都有多个交换机节点。这种架构保证了所有节点到中心节点的路径都具有相同的最短距离，提供了均衡的带宽分配和故障冗余。全胖树和半胖树是常见的两种形态，全胖树所有分支完全填充，而半胖树则部分填充。 **1000节点机群案例** 一个典型的1000节点机群拓扑示例展示了如何使用MSX6536和MSX6025交换机构建胖树结构。每个MSX系列交换机配置了特定数量的端口，形成一个总共包含1296个IB节点的网络。 **路由选择算法** 在胖树架构中，路由选择算法至关重要。文中提到了两种主要算法： 1. **最小跳数算法(MinHop algorithm)**：这是默认的路由算法，基于到每个节点的最小跳数来优化路径长度，以减少延迟并提高效率。 2. **UPD非单播路由算法(UPDN unicast routing algorithm)**：此算法也考虑最小跳数，但受到排名规则的约束，以防止因子网中可能出现的循环导致死锁。如果子网不是纯胖树结构，建议使用该算法。 在配置过程中，可以指定根GUID列表文件以使用`-a`选项进行更精细的路由控制。 胖树架构在InfiniBand网络中扮演着核心角色，通过其独特的设计和智能的路由策略，实现了大规模集群的高效通信。这种结构的稳定性和可扩展性使其成为数据中心和高性能计算应用的理想选择。