用idea 写一个spark实现清洗数据功能执行程序，并打成的 jar 包

首先，你需要安装 Spark 和 Scala，并确保它们可以在你的机器上正常工作。

然后按照以下步骤操作：

1. 创建一个新的 Scala 项目，并在其中添加 Spark 的依赖。

2. 在项目中创建一个名为 `DataCleaning.scala` 的文件。

3. 在 `DataCleaning.scala` 中添加以下代码：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object DataCleaning {
  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 对象
    val conf = new SparkConf().setAppName("Data Cleaning")

    // 创建 SparkSession
    val spark = SparkSession.builder().config(conf).getOrCreate()

    // 读取原始数据
    val rawDF = spark.read.csv(args(0))

    // 进行清洗
    val cleanedDF = rawDF.filter(row => {
      // 过滤掉不合法的数据
      val regex = """^\d+,\w+$""".r
      row.getString(0) match {
        case regex() => true
        case _ => false
      }
    })

    // 将清洗后的数据写入到文件中
    cleanedDF.write.csv(args(1))

    // 关闭 SparkSession
    spark.stop()
  }
}

4. 在命令行中使用以下命令将程序打包成 jar 包：

$ sbt package

5. 运行程序：

$ spark-submit --class DataCleaning target/scala-2.12/data-cleaning_2.12-0.1.jar input.csv output.csv

其中，`input.csv` 是原始数据文件，`output.csv` 是清洗后的数据文件。

以上就是用 Scala 和 Spark 实现数据清洗功能并打包成 jar 包的过程。