Kerberos环境下的Hadoop集群搭建指南【20-40】

本文将介绍在机器上搭建kerberos_hadoop的过程，包括环境准备、配置免密登录、安装jdk、上传hadoop和hive包以及增加用户/组等操作。 首先，在环境准备阶段，我们选择了3台机器来部署，分别是11.158.243.16、11.158.243.29和11.158.243.44。其中，11.158.243.16扮演了namenode、secondarynamenode、resourcemanager、metastore和hiveserver2的角色；11.158.243.29扮演了datanode和nodemanager的角色；11.158.243.44也扮演了datanode和nodemanager的角色。同时，我们配置了免密登录，使得各机器之间的root用户可以无需密码登录。另外，我们还安装了jdk，本次使用了机器上的ali-jdk8，因此无需额外安装。最后，我们在hadoop1上创建了目录，并将hadoop和hive包上传至/bigdata目录并解压。同时，在3台机器上增加了hadoop用户/组，包括增加了hadoop组并创建了hadoop用户，并设置了hadoop用户的密码。 接下来，我们进行kerberos和hadoop的搭建。首先，我们在hadoop1上安装了kerberos，并在其上进行了配置。然后，我们在各个节点上配置了krb5.conf和kadm5.acl文件，并为hadoop1和hadoop2生成了kerberos的princple，并进行了相关的配置。同时，我们还进行了hadoop的配置，包括core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh文件的配置，并在hadoop1上启动了hadoop集群。 在完成了kerberos和hadoop的搭建后，我们在hadoop1上进行了hadoop的安全模式下的初始化。然后，我们在hadoop1上启动了hive的metastore服务和hiveserver2服务，并在hadoop2和hadoop3上启动了datanode和nodemanager服务。最后，我们进行了hadoop集群的测试，包括对hadoop和hive的基本操作进行了测试，并确保了集群的正常运行。 在整个过程中，我们严格要求了在机器上使用root来操作，并进行了环境准备、kerberos和hadoop的搭建以及集群的测试。通过这些步骤，我们成功地搭建了kerberos_hadoop，并确保了集群的正常运行。同时，我们也对搭建过程中的一些注意事项进行了总结和讨论，以便于更好地理解和掌握搭建kerberos_hadoop的方法和技巧。