dfs.namenode.rpc-address默认使用哪个端口

时间: 2024-03-28 17:37:35 浏览: 155

Hadoop默认端口清单-防火墙申请使用

### Hadoop默认端口清单详解 #### Hadoop概述 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。其核心组件包括HDFS（Hadoop Distributed File System）、MapReduce和YARN（Yet Another Resource Negotiator）。此外，还有一系列生态系统工具如HBase、Hive等，它们共同构建了一个强大的大数据处理平台。 #### HDFS（Hadoop Distributed File System）端口配置 - **DataNode** - **50010**：`dfs.datanode.address`，这是DataNode服务的主要端口，用于数据传输。 - **50075**：`dfs.datanode.http.address`，DataNode的HTTP服务端口，主要用于监控和管理目的。 - **50475**：`dfs.datanode.https.address`，DataNode的HTTPS服务端口，提供了安全的数据访问方式。 - **50020**：`dfs.datanode.ipc.address`，IPC（Inter-Process Communication）服务端口，用于进程间通信。 - **NameNode** - **50070**：`dfs.namenode.http-address`，NameNode的HTTP服务端口，用于状态监控。 - **50470**：`dfs.namenode.https-address`，NameNode的HTTPS服务端口，提供更安全的状态监控接口。 - **8020**：`fs.defaultFS`，这是NameNode的RPC端口，客户端通过此端口与NameNode进行交互，获取元数据信息。 - **JournalNode** - **8485**：`dfs.journalnode.rpc-address`，JournalNode的RPC服务端口，用于HA（High Availability）配置中的日志同步。 - **8480**：`dfs.journalnode.http-address`，JournalNode的HTTP服务端口，用于监控JournalNode的状态。 - **ZKFC (ZooKeeper Failover Controller)** - **8019**：`dfs.ha.zkfc.port`，ZKFC与ZooKeeper之间的通信端口，用于实现NameNode的故障转移。 #### YARN（Yet Another Resource Negotiator）端口配置 - **ResourceManager** - **8032**：`yarn.resourcemanager.address`，ResourceManager的applicationsmanager端口，用于管理应用程序。 - **8030**：`yarn.resourcemanager.scheduler.address`，调度器组件的IPC端口，用于调度资源。 - **8031**：`yarn.resourcemanager.resource-tracker.address`，ResourceManager与NodeManager之间的通信端口。 - **8033**：`yarn.resourcemanager.admin.address`，ResourceManager的管理员IPC端口。 - **8088**：`yarn.resourcemanager.webapp.address`，ResourceManager的HTTP服务端口，用于查看集群状态。 - **NodeManager** - **8040**：`yarn.nodemanager.localizer.address`，NodeManager上的本地化服务端口，用于文件复制等操作。 - **8042**：`yarn.nodemanager.webapp.address`，NodeManager的HTTP服务端口，用于状态监控。 - **8041**：`yarn.nodemanager.address`，NodeManager的主IPC端口，用于与ResourceManager通信。 - **JobHistoryServer** - **10020**：`mapreduce.jobhistory.address`，JobHistoryServer的IPC端口，用于历史任务记录。 - **19888**：`mapreduce.jobhistory.webapp.address`，JobHistoryServer的HTTP服务端口，用于查看历史任务详情。 #### HBase端口配置 - **Master** - **60000**：`hbase.master.port`，Master节点的IPC服务端口，用于Master与RegionServer之间的通信。 - **60010**：`hbase.master.info.port`，Master节点的HTTP服务端口，用于状态监控。 - **RegionServer** - **60020**：`hbase.regionserver.port`，RegionServer的IPC服务端口，用于数据读写操作。 - **60030**：`hbase.regionserver.info.port`，RegionServer的HTTP服务端口，用于状态监控。 - **HQuorumPeer** - **2181**：`hbase.zookeeper.property.clientPort`，如果HBase使用内部管理的ZooKeeper集群，则此端口用于客户端连接。 - **2888**：`hbase.zookeeper.peerport`，用于Follower与Leader之间的通信。 - **3888**：`hbase.zookeeper.leaderport`，用于选举Leader时使用。 #### Hive端口配置 - **Metastore** - **9083**：默认的Hive Metastore服务端口，可以通过配置文件`/etc/default/hive-metastore`中的`export PORT=<port>`来更改。 - **HiveServer2** - **10000**：默认的HiveServer2 Thrift端口，可以通过配置文件`/etc/hive/conf/hive-env.sh`中的`export HIVE_SERVER2_THRIFT_PORT=<port>`来更改。 #### ZooKeeper端口配置 - **Server** - **2181**：`clientPort`，ZooKeeper对外提供的客户端服务端口。 - **2888**：ZooKeeper服务器之间通信端口的一部分，用于follower与leader之间的通信。 - **3888**：ZooKeeper服务器之间通信端口的一部分，用于选举新的leader。以上是Hadoop及其生态系统中各个组件的默认端口列表。这些端口在实际部署时可能会有所不同，具体取决于配置文件中的设置。对于生产环境，建议根据实际情况调整端口号，避免端口冲突，并确保防火墙规则正确配置，以保障数据的安全性和系统的稳定性。

dfs.namenode.rpc-address默认使用的端口是8020。这是因为Hadoop中NameNode的RPC服务默认使用的端口就是8020，因此如果没有特别指定，客户端会尝试连接8020端口上的NameNode RPC服务。当然，这个端口号也可以在Hadoop集群的配置文件中进行修改，如果修改了默认端口号，客户端需要相应地修改配置文件中的dfs.namenode.rpc-address参数值。

阅读全文

dfs.namenode.rpc-address默认使用哪个端口

相关推荐

hdfs-site.xml配置文件详解

hadoop 2.9.0 hdfs-default.xml 属性集

hdfs 的dfs.namenode.rpc-address是什么

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

Hadoop配置详解：核心、HDFS与MapReduce端口及默认属性

Hadoop与Zookeeper集群整合教程：搭建高可用NameNode

故障排除HDFS NameNode：最佳实践与常见问题解答

无缝升级Hadoop NameNode：新版本平滑过渡的完整指南

【Hadoop NameNode热备份】：详细步骤与实施策略

数据传输优化术：Hadoop NameNode网络通信效率提升策略

Hadoop运维高级技巧：Zookeeper优化NameNode高可用性实战

系统不停机的秘诀：Hadoop NameNode容错机制深入剖析

内存管理优化术：Hadoop NameNode内存优化及溢出解决方案

namenode切换

如何打卡hdfs-site.xml更改开放端口的绑定IP中，更改开放端口的绑定IP

hadoop如何指定 NameNode 的地址

hdfs集群启动后没有namenode

格式化namenode时提示failed on connection exception: java.net.ConnectException: 拒绝连接，该怎么办

Hadoop配置文件中的NameNode在那

最新推荐

Hadoop 三个配置文件的参数含义说明

基于 .NET 5 + Ant Design Vue 的 Admin Fx.zip

Angular实现MarcHayek简历展示应用教程

管理建模和仿真的文件

深入剖析：内存溢出背后的原因、预防及应急策略（专家版）

Java中如何对年月日时分秒的日期字符串作如下处理：如何日期分钟介于两个相连的半点之间，就将分钟数调整为前半点

Crossbow Spot最新更新 - 获取Chrome扩展新闻

"互动学习：行动中的多样性与论文攻读经历"

【Java内存管理终极指南】：一次性解决内存溢出、泄漏和性能瓶颈

c 语言return用法