CM5.12.1安装Spark2.2.0 Cloudera步骤详解：附详细图文教程

本文档详细介绍了如何在CM5.12.1环境中安装Spark2.2.0 Cloudera Distribution的步骤，包括了必要的系统准备以及安装过程中的一些注意事项。首先，安装前需要确保满足以下要求： 1. **Scala版本**: Spark 2.2.0需要Scala 2.11版本，不支持Scala 2.10。在安装前，请检查本地环境是否已安装正确的Scala版本。 2. **Python版本**: Cloudera提供的Spark 2.2.0支持Python 2.7或更高版本（如果是使用Python 2），以及Python 3.4或更高版本（Spark 2.1和2.2开始支持Python 3.6及以上）。 3. **JDK版本**: 必须使用JDK 8进行Spark 2.2.0的安装，因为Cloudera Distribution对Spark 2.2.0的要求是JDK 8。 接下来，开始具体的安装步骤： **一、准备工作** 1. **下载资源**：从官方文档（<https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html>）获取SPARK2_ON_YARN-2.2.0.cloudera2.jar文件，并将其保存在下载目录。 2. **创建目录**：在每个CDH节点上，创建一个用于存储CSD（Cloudera Services Distribution）的目录 `/opt/cloudera/csd`。 3. **复制CSD包**：将下载的CSD包移动到指定目录，并确保修改文件权限和所有者，以确保正确执行后续操作。如果该目录下有其他jar包，可能需要清理或移动它们。 **二、安装步骤** 1. **集群管理服务调整**：在安装前，可以暂时停止集群和Cloudera Management Service，但这通常不是强制性的，只是为了简化安装过程，安装后仍需重启服务。 2. **逐节点操作**：在每个CDH节点上，执行上述创建目录、复制CSD包并修改权限的操作。 3. **执行安装**：在每个节点上，使用`scp`命令将CSD包复制到远程主机的指定目录。这里使用的命令格式是 `root@cloud`，具体执行时需要替换为实际的主机名和用户名。 通过这些步骤，您将在CM5.12.1环境中成功安装Spark2.2.0 Cloudera Distribution，之后可以根据需要启动服务并进行进一步的配置和使用。在安装过程中遇到任何问题，记得参考官方文档中的解决方案，或寻求社区技术支持。