Hadoop设置rdma

Hadoop的远程直接内存访问(RDMA)设置主要是为了让集群节点之间能够通过高性能网络通道直接交换数据，减少中间环节，提高数据传输效率。以下是设置Hadoop使用RDMA的基本步骤：

1. **硬件准备**：
- 确保每个节点都配备了支持InfiniBand或其他RDMA技术的网卡。
- 部署RDMA驱动程序，如Intel Omni-Path适配器的OFED (OneFS InfiniBand Ethernet Distribution)。

2. **配置文件修改**：
- 在`core-site.xml`中添加对RDMA的支持，例如启用InfiniBand：

     <property>
       <name>fs.inotify.interval</name>
       <value>500</value>
       <description>The interval between calls to inotify() when watching a directory.</description>
     </property>
     <property>
       <name>hadoop.rpc.socket.factory.class.default</name>
       <value>org.apache.hadoop.net.DFSSocketFactory</value>
       <description>The default SocketFactory for the DFSCluster</description>
     </property>

3. **资源调度**：
- 调整YARN（Yet Another Resource Negotiator）的资源配置，给需要使用RDMA的应用分配专用的带宽资源。
- 使用`yarn.nodemanager.resource.cpu-vcores-per-rack`等属性控制节点间的资源隔离。

4. **启动服务**：
- 启动Hadoop的服务，包括NameNode、DataNodes和ResourceManager，确保它们识别并利用RDMA功能。

5. **应用配置**：
- 对于运行在Hadoop上的应用程序（如MapReduce或Spark），可能需要调整其配置来指示使用RDMA网络。

注意：由于RDMA是一个底层技术，并非所有Hadoop组件都默认支持，某些高级特性可能需要额外安装和配置。此外， RDMA设置通常依赖于特定的集群环境和供应商提供的文档。