Hadoop、Hive、HBase与Spark组件端口大全：防火墙必备指南

本文档详细列出了大数据生态系统中几个关键组件的端口号，主要关注于Hadoop、Hive、HBase和Spark等技术在运行环境中的网络通信需求。这些端口号对于理解如何配置防火墙以确保系统的安全性和互操作性至关重要。 1. **Hadoop系统端口**： - Hadoop的Web界面可以通过8080端口访问，这是Hadoop的管理工具，如Hadoop YARN（Yet Another Resource Negotiator）的Web UI。 - SSH（Secure Shell）默认端口22用于远程登录Hadoop节点。 - Namenode，作为HDFS（Hadoop Distributed File System）的中心节点，其主要服务端口包括： - 50070：HTTP接口，用于客户端访问文件系统元数据。 - 9000：`fs.default.name`，这是HDFS的主命名空间URI，客户端通过这个地址与Namenode交互。 - Datanodes的端口50010用于接收来自客户端的数据和响应。 - JobTracker在Hadoop 1.x中负责作业调度，其HTTP接口为50030，TaskTrackers的HTTP接口为50060。 2. **Hive和Spark端口**： - Hive服务的端口未在部分列出，但通常Hive Server2监听9083端口供客户端连接。 - Spark则依赖YARN进行任务调度，其组件的端口可能因版本不同而略有差异，但核心组件如Resource Manager的Web UI可能在8088，而Executor HTTP接口可能在8081。 3. **HBase端口**： - HBase Master的端口60010用于展示Master状态信息。 - HBase RegionServer的端口60030，同样用于提供服务状态信息。 4. **其他服务端口**： - YARN的缺省端口包括资源管理器的8088，以及其他daemon的特定配置参数。 - Ganglia，一个分布式监控系统，可能用于监控Hadoop和HBase，其端口根据具体配置。 - Kerberos是一种网络认证协议，虽然端口未直接列出，但在实现时通常涉及KDC（Key Distribution Center）的端口。 5. **注意事项**： - 0.21版本之后，SecondaryNameNode的角色被替换，但具体的替代端口未在文中给出。在更新的版本中，这些角色可能使用不同的端口配置。 - 配置参数可能需要根据实际情况调整，比如通过修改`core-site.xml`或`hdfs-site.xml`等配置文件来设置这些端口。 这份端口号列表是大数据环境中至关重要的参考，管理员可以根据这些信息调整防火墙策略，确保集群内部通信畅通同时保护数据安全。在部署和维护大型分布式系统时，理解和管理这些端口是必不可少的环节。