使用spark.sql分别读取hive中表的数据

您好，我理解您需要使用Spark SQL从Hive中的表中读取数据。下面是基本的代码示例：

1. 首先，您需要创建一个SparkSession实例，并启用Hive支持。

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("ReadDataFromHive")
  .enableHiveSupport()
  .getOrCreate()

2. 然后，您可以使用Spark SQL中的`spark.sql`方法来执行SQL查询。

spark.sql("SELECT * FROM myhive_table").show()

3. 如果您需要将查询结果保存到一个DataFrame中，可以使用`spark.read`方法。

val myDataFrame = spark.read.table("myhive_table")

4. 如果您想使用过滤器筛选数据，可以在查询中添加WHERE子句。

spark.sql("SELECT * FROM myhive_table WHERE column1 > 10").show()

希望这些代码能够帮助到您。

相关问题

使用spark.sql读取hive中表的数据

好的，可以使用以下语句通过Spark SQL读取Hive中的表数据：

val spark = SparkSession.builder()
  .appName("ReadHiveTable")
  .enableHiveSupport()
  .getOrCreate()

val df = spark.sql("select * from database.table")

其中，`database`为Hive中的数据库名称，`table`为要读取的表名称。这里使用了`enableHiveSupport()`来启用Hive支持。读取完成后，可以对`df`进行后续的处理和分析。

spark sql 读取hive外部表

1. 首先需要在Hive中创建一个外部表。外部表是指数据存储在磁盘上，而不是Hive的默认存储位置（HDFS）中。

   CREATE EXTERNAL TABLE external_table (
     col1 string,
     col2 int,
     col3 double
   )
   ROW FORMAT DELIMITED
   FIELDS TERMINATED BY ','
   LOCATION '/path/to/data';

2. 然后在Spark中创建一个SparkSession对象，并使用该对象创建一个DataFrame。

   val spark = SparkSession.builder()
     .appName("Spark Hive External Table")
     .enableHiveSupport()
     .getOrCreate()

   val df = spark.sql("SELECT * FROM external_table")

3. 可以使用DataFrame API或Spark SQL来处理数据。

   df.show()
   df.printSchema()

   df.select("col1").show()
   df.filter($"col2" > 10).show()

   df.createOrReplaceTempView("temp_table")
   spark.sql("SELECT AVG(col2) FROM temp_table").show()

4. 最后，记得关闭SparkSession对象。

   spark.stop()