HUE 3.9.0 在CentOS7上的搭建与配置指南

"HUE搭建说明文档" Hue是Apache Hadoop的一个开源用户界面（UI）系统，起源于Cloudera Desktop，并最终由Cloudera公司捐赠给Apache基金会。它基于Python Web框架Django构建，提供了在Web浏览器中与Hadoop集群进行交互、分析和处理数据的功能。Hue为用户提供了友好的图形界面，简化了Hadoop生态系统中的任务操作，如HDFS浏览、MapReduce作业提交、Hive查询和Spark交互等。 在搭建Hue的过程中，需要关注以下几个关键步骤和知识点： 1. 系统环境：Hue的安装通常在Linux系统上进行，例如CentOS 7.0。同时，系统中需要有特定版本的MySQL数据库（如5.6.35）来存储Hue的元数据。 2. 用户与权限：通常使用一个特定的用户（如`master`）来进行安装，并确保该用户具有执行安装命令和管理服务的权限。 3. 版本信息：在本例中，使用的Hue版本是`hue-3.9.0-cdh5.9.0`，这表明它是针对CDH (Cloudera Distribution Including Apache Hadoop) 5.9.0优化的。 4. 依赖安装：在安装Hue之前，必须先安装一系列的基础依赖库，包括开发工具、安全认证库、XML解析库、LDAP开发库、Python开发库、SQLite开发库、OpenSSL开发库以及MySQL开发库等。 5. Hue软件包：从压缩文件中解压Hue安装包到指定目录，如`/home/master/modules`。 6. 数据库准备：在MySQL中创建名为`hue`的数据库，用于存储Hue的配置信息和元数据。 7. 配置Hue：修改Hue的配置文件`hue.ini`，通常位于`/home/master/modules/hue-3.9.0/desktop/conf`目录下。需要设置的参数包括`secret_key`，以确保应用的安全性；`http_host`和`http_port`定义了Hue服务的监听地址和端口；`time_zone`则是设定时区。 8. 解决已知问题：针对特定版本（如Hue 3.11，对应CDH的`hue-3.9.0`版本）中Notebook无法使用SparkSQL的问题，需要在`notebook connectors`的源代码中进行修改，将`spark-sql`更改为`sparksql`。 9. 集成HDFS：为了使Hue能够访问HDFS，需要在Hadoop的配置文件`hdfs-site.xml`中启用WebHDFS功能，将`dfs.webhdfs.enabled`设置为`true`。 10. 启动与管理：安装完成后，需要启动Hue服务并确保其正常运行。此外，可能还需要配置防火墙规则，允许外部访问Hue的服务端口。 通过以上步骤，可以成功地在指定环境中搭建Hue，提供一个直观的界面供用户与Hadoop集群进行交互，增强数据处理的便捷性和效率。