2.云主机搭建的Hadoop集群,集群之间通过内网通信,本地eclipse开发工具需要使用域名进行访问。 Hadoop配置文件是以内网IP作为机器间通信的IP。在这种情况下,我们能够访问到namenode机器,namenode会给我们数据所在机器的IP地址供我们访问数据传输服务,但是当写数据的时候,NameNode和DataNode是通过内网通信的,返回的是datanode内网的IP,我们无法根据该IP访问datanode服务器。将默认的通过IP访问,改为通过域名方式访问。
时间: 2024-03-31 09:38:22 浏览: 104
要将默认的通过IP访问改为通过域名方式访问,需要进行以下步骤:
1. 在Hadoop集群的每个节点上修改hosts文件,将每个节点的内网IP地址和节点名称映射起来。例如,将10.0.0.1映射为node1,将10.0.0.2映射为node2,以此类推。
2. 修改Hadoop配置文件,将dfs.namenode.rpc-address属性的值改为节点名称。例如,将dfs.namenode.rpc-address的值从10.0.0.1:9000改为node1:9000。
3. 修改Hadoop配置文件,将dfs.datanode.hostname属性的值改为节点名称。例如,将dfs.datanode.hostname的值从10.0.0.2改为node2。
4. 在eclipse开发工具中使用访问Hadoop集群的URL时,将IP地址改为对应的节点名称即可。
这样修改后,NameNode和DataNode之间通信的IP地址就改为了通过域名访问,可以解决无法访问DataNode服务器的问题。
阅读全文