"CDH上基于Spark的集群搭建及httpd服务部署"

基于CDH的Spark集群搭建是采用CDH和CM 6.3.2版本进行搭建的，同时还包括了部署httpd等服务的过程。在搭建的过程中，需要准备至少3台内存为64G的机器，分别命名为hadoop1、hadoop2和hadoop3。 首先需要下载CDH和CM 6.3.2版本的安装包，下载链接为https://learningfriend.cn:8081/test/cdh6/。另外还提供了CDH和CM 6.3.1版本的下载地址：https://pan.baidu.com/s/16VWfnKRSFHPuOTBEhDB9lw，提取码为8vn7。在搭建的过程中，需要将系统设置为CentOS7，CDH版本为6.3.2，Mysql版本为5.7。 接下来，我们进行安装步骤的介绍。 第一步是免密登录hdfs和其他通信。为了实现免密登录，我们需要配置ssh，这样在心跳感应时就不需要再输入密码了。 第二步是关闭selinux和swap。关闭selinux是为了避免资源访问的限制。比如，如果impala用户的权限较低，启用selinux会导致查询很慢。关闭selinux后，便可以充分发挥impala的作用。关闭swap的目的是避免交换内存。默认情况下，swap是开启的，如果内存不够用，就会将数据写入磁盘，当释放内存时，再将数据加载到内存中。但是，如果磁盘中的资源消耗大于内存，就会导致系统宕机。关闭swap相当于一种保护策略。 第三步是安装httpd和进行yum.repo配置。httpd是一个常用的Web服务器，我们可以通过配置yum.repo的方式来安装软件包。配置yum.repo可以方便我们在搭建过程中安装需要的软件。 在完成上述步骤后，我们可以开始进行Spark集群搭建的具体操作了。首先需要安装并配置CDH和CM，根据下载的安装包进行安装。安装过程中需要进行一系列的配置，包括网络配置、数据库配置、Kerberos认证配置等。 安装完CDH和CM后，我们还需要进行一些后续操作，例如配置HDFS、YARN、Spark等组件的参数，配置日志管理、监控等功能。 在搭建完成后，我们可以通过访问httpd来验证集群搭建是否成功。此外，还可以使用相关工具进行性能测试和监控，以确保集群的稳定性和性能。 综上所述，基于CDH的Spark集群搭建是一个相对复杂的过程，需要进行多项准备和配置工作。通过合理的安装和配置，我们可以搭建一个稳定、高效的Spark集群，为大数据处理和分析提供强有力的支持。