Scala与Spark 2.1.0的详细安装教程

本篇文章详细介绍了Spark安装过程，主要针对Scala和Spark 2.1.0版本在Hadoop环境下的配置。以下是文章中涉及的关键知识点： 1. Scala 2.10.4 安装： - 首先，从Scala官网下载scala-2.10.4.tgz安装包，并将其复制到`/home/MyCloudera/app/scala`目录，确保所有节点上都有此目录。 - 使用`tar`命令解压安装包。 - 修改`/etc/profile`文件，添加Scala环境变量，包括`SCALA_HOME`路径和将`scala-2.10.4/bin`加入系统路径。 - 使用`sudo`权限确保目录所有权和复制`etc/profile`到所有节点。 - 登录到每个节点，执行`source /etc/profile`来激活新环境变量。 2. Scala环境检查： - 在终端中输入`scala-version`命令，确认Scala已成功安装，显示版本信息。 3. Spark 2.1.0 安装： - 从Spark官网下载spark-2.1.0-bin-hadoop2.7.tgz，与Scala类似，创建`/home/MyCloudera/app/spark`目录存放安装包。 - 解压缩安装包，生成`spark-2.1.0-bin-hadoop2.7`目录结构。 4. Spark 安装目录和配置： - 安装完成后，Spark通常会包含bin目录，用于执行Spark shell和其他工具。 - 为了正确运行Spark，可能需要配置环境变量，确保Hadoop路径正确，因为Spark依赖于Hadoop的HDFS和YARN。 5. 验证Spark安装： - 启动Spark Shell或者执行其他Spark相关的命令，如`spark-submit`，以验证Spark是否安装和配置成功。 总结来说，本文提供了一个逐步指南，帮助用户在Hadoop环境中安装和配置Scala 2.10.4和Spark 2.1.0，包括环境变量设置、目录管理以及安装包的处理。通过这些步骤，读者可以确保他们的集群具备了运行Spark应用的基础环境。