Ubuntu18.04中idea的spark环境配置

在Ubuntu 18.04上配置IntelliJ IDEA的Spark环境主要包括几个步骤：

1. **安装Java**：首先确保系统已经安装了Java，如果没有，可以使用`sudo apt-get install default-jdk`命令进行安装。

2. **下载并安装Apache Spark**：访问[Apache Spark官网](https://spark.apache.org/downloads.html)下载适用于Ubuntu 18.04的Spark版本，解压到一个指定目录如`/opt/spark`。

3. **设置环境变量**：编辑`~/.bashrc`文件，在其中添加Spark的bin路径，例如：

   export SPARK_HOME=/opt/spark
   export PATH=$PATH:$SPARK_HOME/bin

4. **激活环境**：关闭并重新打开终端，或者运行`source ~/.bashrc`使更改生效。

5. **创建Scala/SBT项目**：在IntelliJ IDEA中，通过"File" > "New" > "Project from Existing Sources"，选择"Scala"，然后指定Spark的scala源码目录（通常是$SPARK_HOME/scala）。

6. **配置SBT项目**：在新项目中，打开`build.sbt`文件，添加Spark的依赖项，比如：

   libraryDependencies += "org.apache.spark" %% "spark-core" % "version"

7. **构建项目**：在IntelliJ IDEA中，点击"Build"菜单下的"Rebuild Project"，等待SBT完成构建。

8. **运行测试或应用**：现在可以在IDEA中编写Spark代码，并通过SBT运行测试或应用程序。