请详细介绍如何在IntelliJ IDEA中设置Spark Scala项目，并指导如何在本地运行和部署分布式Spark应用程序。

在IntelliJ IDEA中开发Spark Scala项目，首先需要确保你的开发环境中已经安装了JDK 1.8、Spark以及Scala框架。接着，你可以利用Maven来管理项目依赖，并创建一个Maven项目，以便通过IntelliJ IDEA进行管理。

参考资源链接：[使用IntelliJ IDEA开发Spark Scala程序](https://wenku.csdn.net/doc/5sbsf46ncs?spm=1055.2569.3001.10343)

首先，打开IntelliJ IDEA并选择创建一个新的项目。在新项目向导中，选择使用Maven进行项目管理，并确保勾选了‘Create from archetype’选项，选择‘maven-archetype-quickstart’原型。之后，为你的项目输入GroupId和ArtifactId，并完成项目创建。

创建好项目后，你需要在pom.xml文件中添加Spark依赖。以下是一个简单的依赖配置示例，用于添加Spark核心库和日志库：

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
    </dependencies>

接下来，在项目设置中添加Scala SDK。转到‘File’ -> ‘Project Structure’ -> ‘Project’，然后在‘Project SDK’中选择安装好的JDK 1.8。之后，在‘Project Language Level’选择与Scala版本相对应的选项，如‘Scala 2.11’。完成这些步骤后，就可以在IDE中编写Scala代码了。

在编写完Spark程序代码后，你可以通过IntelliJ IDEA的运行配置来本地运行你的Spark应用程序。你可以创建一个运行配置，指定主类和VM选项，如使用足够的堆内存。

当你准备部署分布式Spark应用程序时，需要配置Spark集群的Master和Worker节点。这通常涉及到编辑Spark配置文件，设置‘spark.master’属性为集群的Master节点地址，并确保所有节点上都安装了Spark。

之后，你可以使用`sbin/start-all.sh`在所有节点上启动集群，并通过`sbin/start-master.sh`和`sbin/start-slave.sh`单独启动Master和Worker节点。一旦集群启动，你就可以将应用程序打包为jar文件，并使用`spark-submit`命令将其提交到集群上运行。

为了帮助你更全面地掌握这一过程，建议参考《使用IntelliJ IDEA开发Spark Scala程序》一书。此书不仅涵盖了IDEA和Spark的集成，还详细介绍了从项目创建到本地测试再到分布式部署的完整流程。通过学习这些内容，你将能够更加熟练地进行Spark项目开发和部署。

参考资源链接：[使用IntelliJ IDEA开发Spark Scala程序](https://wenku.csdn.net/doc/5sbsf46ncs?spm=1055.2569.3001.10343)