用idea 写一个spark实现清洗hive中数据，清洗后再存入hive的另外一个库中

首先，需要在IDEA中创建一个Maven项目，并添加Spark和Hive的依赖。

接着，可以按照以下步骤实现清洗Hive中数据并存入另一个库中：

1. 创建SparkSession对象

SparkSession spark = SparkSession.builder()
        .appName("HiveDataCleaning")
        .enableHiveSupport()
        .getOrCreate();

2. 读取Hive中的数据

Dataset<Row> data = spark.sql("SELECT * FROM database.table");

3. 进行数据清洗

Dataset<Row> cleanedData = data.filter(col("column1").isNotNull())
        .filter(col("column2").isNotNull())
        .dropDuplicates();

4. 将清洗后的数据存入Hive另一个库中

cleanedData.write()
        .format("hive")
        .option("database", "new_database")
        .option("table", "new_table")
        .mode(SaveMode.Append)
        .save();

完整代码示例：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.SaveMode;

import static org.apache.spark.sql.functions.*;

public class HiveDataCleaning {

    public static void main(String[] args) {

        SparkSession spark = SparkSession.builder()
                .appName("HiveDataCleaning")
                .enableHiveSupport()
                .getOrCreate();

        Dataset<Row> data = spark.sql("SELECT * FROM database.table");

        Dataset<Row> cleanedData = data.filter(col("column1").isNotNull())
                .filter(col("column2").isNotNull())
                .dropDuplicates();

        cleanedData.write()
                .format("hive")
                .option("database", "new_database")
                .option("table", "new_table")
                .mode(SaveMode.Append)
                .save();

        spark.stop();
    }
}