使用idea编写spark程序并提交到yarn集群例子

以下是使用idea编写spark程序并提交到yarn集群的例子：

1. 首先，在idea中创建一个新的maven项目，选择scala语言。

2. 在pom.xml文件中添加以下依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
</dependencies>

3. 创建一个简单的Spark应用程序，例如：

import org.apache.spark.sql.SparkSession

object WordCount {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Word Count")
      .getOrCreate()

    val lines = spark.read.textFile(args(0)).rdd
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map((_, 1)).reduceByKey(_ + _)

    wordCounts.saveAsTextFile(args(1))

    spark.stop()
  }
}

4. 在idea中配置Spark环境变量，打开“Run/Debug Configurations”窗口，选择“Application”，然后单击“+”按钮添加一个新的配置。在“Environment variables”字段中添加以下内容：

SPARK_HOME=/path/to/your/spark/home

5. 在idea中打开终端，使用以下命令将应用程序打包成jar文件：

mvn package

6. 将jar文件上传到yarn集群中：

hadoop fs -put /path/to/your/jar/file /user/yourname/

7. 在yarn集群中提交应用程序：

spark-submit --class WordCount --master yarn --deploy-mode cluster /user/yourname/your-jar-file.jar /input/path /output/path

其中，“WordCount”是你的应用程序的类名，“/input/path”是输入文件的路径，“/output/path”是输出文件的路径。

8. 等待应用程序运行完成，然后检查输出文件是否正确生成。

希望这个例子能够帮助你使用idea编写spark程序并提交到yarn集群。