hdp集群需要开放哪些端口

Hadoop集群需要开放的端口如下：

1. HDFS：

- NameNode：8020/50070
- DataNode：50010/50020
- Secondary NameNode：50090

2. YARN：

- Resource Manager：8032/8088
- NodeManager：8042
- JobHistory Server：10020/19888

3. MapReduce：

- Job Tracker：8021
- Task Tracker：50060

4. ZooKeeper：

- Client Port：2181
- Leader Election Port：3888
- Atomic Broadcast Port：2888

5. Hive：

- HiveServer2：10000
- Hive Metastore：9083

6. HBase：

- HMaster Web UI：16010
- HMaster RPC Port：60000
- RegionServer RPC Port：60020
- HBase REST Server：8080
- Thrift Server Port：9090

以上仅是常见的端口，实际根据集群中组件的具体配置而有所不同。

相关问题

kerberos HDP ipa

### 配置 Kerberos 与 IPA 在 Hortonworks Data Platform 中集成

#### 安装和配置 FreeIPA Server
为了使 HDP 能够利用 Kerberos 进行身份验证，首先需要安装并配置 FreeIPA 服务器。FreeIPA 是一个开源的身份管理解决方案，它集成了 LDAP 和 Kerberos 协议来提供集中式的用户管理和认证服务。

确保按照官方文档中的说明完成 FreeIPA 的部署[^1]。这通常涉及设置 DNS 记录、初始化目录以及创建必要的主机和服务主体账户。

#### 获取 GPG 密钥用于软件包签名验证
当从特定仓库获取 HDP 或其工具组件时，建议先导入相应的 GPG 公开密钥以确保下载的安全性和完整性。对于此场景下的 Jenkins 构建版本而言：

rpm --import gpgkey=http://chavin.king/hdp/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

上述命令会将指定 URL 下的公钥添加到系统的 RPM 数据库中以便后续操作可以信任来自该源的更新或新安装请求[^2]。

#### 设置 Ambari 来启用 Kerberos 支持
Ambari 提供了一个图形化的界面让用户能够轻松地开启集群级别的 Kerberos 功能。进入 Ambari Web UI 并导航至 "Admin" -> "Kerberos", 接着遵循向导提示输入关于 KDC（Key Distribution Center）、管理员凭证以及其他细节的信息。

重要的是要确认所填写的内容匹配之前已经建立好的 FreeIPA 实例参数，并且允许 Ambari 自动处理大部分复杂的配置工作，比如生成所需的 keytab 文件等。

#### 测试 Thrift 服务连接性
一旦完成了以上步骤并且成功启用了整个环境内的 Kerberos 安全机制之后，则可以通过如下方式测试 Thrift 服务是否正常运作:

停止现有的 Thrift 服务实例:

./hbase-daemon.sh stop thrift

使用 `kinit` 工具加载目标应用程序对应的 keytab 文件来进行身份验证:

kinit -kt /etc/security/keytabs/hbase.headless.keytab hbase-dev_dmp &

重新启动带有自定义端口映射选项的新版 Thrift 服务进程:

/usr/hdp/3.0.0.0-1634/hbase/bin/hbase-daemon.sh start thrift -p 9090 --infoport 8086

最后通过 HTTP 模式或者二进制模式分别尝试访问远程机器上的 Thrift API 端点, 如下所示:
HTTP Mode Test Command:

hbase org.apache.hadoop.hbase.thrift.HttpDoAsClient DEVDIP.ORG 9090 hbase true

Binary Mode Test Command:

hbase org.apache.hadoop.hbase.thrift.DemoClient DEVDIP.ORG 9090 true

这些指令可以帮助验证当前环境下 Thrift 服务能否正确响应客户端发起的数据读写请求，在遇到任何异常情况时也便于快速定位问题所在位置[^3]。

ERROR [master/spark-hdp-master-1:16000:becomeActiveMaster] master.HMaster: Failed to become active master 如何解决

### 回答1：
这个问题可能是由于 Hadoop 集群中的某些节点出现了故障或网络问题导致的。您可以尝试重新启动 Hadoop 集群中的所有节点，或者检查 Hadoop 集群的配置是否正确。如果问题仍然存在，请查看 Hadoop 集群的日志文件以获取更多详细信息。

### 回答2：
在解决"ERROR [master/spark-hdp-master-1:16000:becomeActiveMaster] master.HMaster: Failed to become active master"错误时，可以尝试以下几个步骤：

1. 检查网络连接：首先，确保网络连接是正常的，这个错误可能是由于网络连接出现问题导致的。可以尝试重启网络设备，或者检查网络配置文件是否正确。

2. 检查Master节点状态：检查Master节点的状态，确保它运行正常并且没有任何错误。可以查看Master节点的日志文件，检查是否有其他错误或异常。

3. 检查配置文件：确认Hadoop集群的相关配置文件是否正确。检查HBase的配置文件，确保所有必要的配置项都已正确设置。特别要注意检查HBase的主备节点配置项，确保所有节点都正确配置。

4. 检查端口和防火墙：确认相关端口是否被阻止或被其他服务占用。可以检查防火墙设置，确保相关端口是开放的。如果端口被其他服务占用，可以尝试更改HBase的端口设置。

5. 检查内存和磁盘空间：确保Master节点上有足够的内存和磁盘空间，以便正常运行HBase。可以通过查看系统资源使用情况来确认。

6. 检查依赖项：检查是否缺少任何必要的库或依赖项。确保所有依赖项都已正确安装和配置。

如果上述步骤都没有解决问题，建议查看更详细的错误日志，以获取更多信息。根据错误日志，可以尝试搜索相关错误消息，查找其他用户可能遇到过的相似问题和解决方案。最后，如果问题仍然存在，建议向HBase社区或专业技术支持提问，以获取更专业的帮助。