使用idea用java写使用spark sql 来读取mysql中的数据并将其存储到hive中
时间: 2023-06-09 22:06:21 浏览: 259
使用kettle将mysql中的数据导入到hive中
4星 · 用户满意度95%
好的,您可以使用以下代码使用Java和Spark SQL来读取MySQL中的数据并将其存储到Hive中:
```
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;
public class SparkSQLMySQLToHive {
public static void main(String[] args) {
// Create Spark session
SparkSession spark = SparkSession.builder()
.appName("SparkSQLMySQLToHive")
.master("local[*]")
.enableHiveSupport()
.getOrCreate();
// Read data from MySQL using Spark SQL
Dataset<Row> mysqlData = spark.read()
.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/your_db_name")
.option("driver", "com.mysql.jdbc.Driver")
.option("dbtable", "your_table_name")
.option("user", "your_mysql_username")
.option("password", "your_mysql_password")
.load();
// Save data to Hive
mysqlData.write()
.mode(SaveMode.Overwrite)
.saveAsTable("your_hive_table_name");
// Close Spark session
spark.stop();
}
}
```
这段代码使用了Spark SQL的JDBC数据源来从MySQL中读取数据,并使用Hive数据源将数据存储到Hive中。您可以将上述代码复制到您的IDE中,并根据需要替换MySQL和Hive的连接详细信息,然后运行该代码。
阅读全文