Hadoop关键端口详解与防火墙设置指南

Hadoop是一个开源的大数据处理框架，由Apache软件基金会开发，主要用于处理海量数据。它包含多个核心组件，如HDFS（分布式文件系统）、YARN（Yet Another Resource Negotiator）用于资源管理和调度，HBase、Hive等数据存储和分析工具，以及ZooKeeper、Spark、Kafka、Kylin等分布式计算平台。在部署和管理Hadoop集群时，了解各个组件的默认端口至关重要，因为它们决定了集群内部通信和外部访问的通道。 HDFS（Hadoop Distributed File System）是Hadoop的核心组件，主要负责数据存储。以下是HDFS的一些关键端口： 1. DataNode: DataNode是数据块的实际存储节点，其主要端口有： - 50010 (dfs.datanode.address): 数据传输服务端口。 - 50075 (dfs.datanode.http.address): HTTP服务端口，提供元数据查询等操作。 - 50475 (dfs.datanode.https.address): HTTPS服务端口，提供更安全的数据访问。 - 50020 (dfs.datanode.ipc.address): NameNode与DataNode之间的RPC（远程过程调用）通信端口。 2. NameNode: 名称节点，负责元数据管理： - 50070 (dfs.namenode.http-address): HTTP服务端口，供客户端访问元数据。 - 50470 (dfs.namenode.https-address): HTTPS服务端口，提供更安全的元数据访问。 - 8020 (fs.defaultFS): 典型上用来接收客户端的连接，获取文件系统信息。 3. JournalNode: 用于NameNode高可用性的辅助组件： - 8485 (dfs.journalnode.rpc-address): RPC服务端口。 - 8480 (dfs.journalnode.http-address): HTTP服务端口。 4. ZKFC (ZooKeeper Failover Controller): 在Hadoop HA模式下，用于NameNode的故障转移： - 8019 (dfs.ha.zkfc.port): 与ZooKeeper通信的端口。 YARN（Yet Another Resource Negotiator）作为资源管理器，其端口主要包括： 1. ResourceManager: 负责资源分配和调度： - 8032 (yarn.resourcemanager.address): 应用程序管理器（ASM）端口。 - 8030 (yarn.resourcemanager.scheduler.address): 调度器的RPC端口。 - 8031 (yarn.resourcemanager.resource-tracker.address): 资源跟踪器的RPC端口。 - 8033 (yarn.resourcemanager.admin.address): 管理员接口的RPC端口。 - 8088 (yarn.resourcemanager.webapp.address): HTTP服务端口，提供Web界面。 2. NodeManager: 负责单个节点上的资源管理和应用程序运行： - 8040 (yarn.nodemanager.localizer.address): 当地化服务的RPC端口。 - 8042 (yarn.nodemanager.webapp.address): NodeManager的HTTP服务端口。 在配置防火墙时，需要确保这些端口开放，以便Hadoop集群内的通信畅通无阻。同时，如果要在外部访问Hadoop服务，可能还需要开放相应的HTTP或HTTPS端口，具体取决于每个服务的安全策略。记住，每个版本的Hadoop可能会有微小的变化，所以在实际操作中，请务必查阅最新的官方文档或配置指南。