HDP集群搭建操作指引及坑点记录

本文档旨在提供Hortonwork Data Platform（HDP）安装操作指引，并整理最新HDP集群搭建过程中添加TensorFlowOnSpark组件的方法，同时记录大大小小的坑和解决方法。如果您在使用过程中遇到任何问题，欢迎通过邮件327697161@qq.com反馈给我们。 一、下载文件 1. Ambari 下载 Repo File a. 下载地址：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo b. Tarball md5地址：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz 2. HDP 下载 HDP Version Definition File (VDF) a. 下载地址：http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0/HDP-3.1.0.0-78.xml b. Base URL地址：http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0 c. Repo File地址：http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3 以上是下载HDP集群安装所需的相关文件的地址和说明。 二、HDP集群搭建 1. 安装Ambari a. 在所有集群节点上安装相同版本的ambari.repo和ambari-2.7.3.0-centos7.tar.gz b. 通过yum命令安装ambari-server和ambari-agent c. 配置ambari-server和ambari-agent 2. 添加HDP Repository a. 在ambari界面上添加HDP Repository b. 确保VDF文件和Repo文件已经下载并配置正确 c. 在ambari界面上更新Repository信息 d. 验证HDP Repository是否成功添加 3. 安装HDP集群 a. 在ambari界面上创建集群 b. 选取需要安装的组件 c. 配置组件参数 d. 确认安装操作 e. 等待安装完成 4. 添加TensorFlowOnSpark组件 a. 在ambari界面上选择“添加服务” b. 选择TensorFlowOnSpark并进行安装 c. 配置TensorFlowOnSpark参数 d. 确认安装操作 e. 等待安装完成 以上是HDP集群搭建的简要操作步骤。在实际操作中可能会遇到各种问题和坑，下面记录一些可能出现的问题及解决方法： 1. 安装过程中可能会出现依赖问题，需要提前准备好所有需要的依赖文件，并确保网络畅通。 2. 配置参数时，需要仔细核对每个节点的配置信息，避免出现节点不一致导致的问题。 3. 在添加TensorFlowOnSpark组件时，可能会出现版本兼容性问题，需要注意组件的版本和HDP集群的版本是否兼容。 4. 在安装过程中可能会遇到各种错误提示，需要仔细阅读错误日志，并根据错误提示逐一解决，避免出现未知错误。 总之，搭建HDP集群并添加TensorFlowOnSpark组件需要认真细致的操作，同时需要充分的准备和对各种可能出现的问题有所准备。希望本文档可以对您有所帮助，如果您在使用过程中遇到任何问题，请随时通过邮件327697161@qq.com反馈给我们，我们将尽快给予解决。