sparksql 读取hive表user数据

你可以按照以下步骤使用SparkSQL读取Hive表中的user数据：

1. 首先，要确保你的Spark集群已经配置好了与Hive的连接，可以通过在Spark Shell中运行以下命令来测试：

   spark.sql("show databases").show()

如果能够显示Hive中的数据库列表，则说明连接成功。

2. 接下来，需要使用SparkSession对象创建一个SparkSQL上下文：

   from pyspark.sql import SparkSession

   spark = SparkSession.builder.appName("ReadHiveTable").enableHiveSupport().getOrCreate()

3. 然后，你可以使用SparkSQL的语法来读取Hive表中的数据。例如，如果你的Hive表名为user，可以使用以下命令读取：

   df = spark.sql("SELECT * FROM user")

这将返回一个DataFrame对象，其中包含了user表中的所有数据。

4. 最后，你可以对DataFrame对象进行操作，例如打印数据或者将数据写入到其他数据源中：

   df.show()
   df.write.parquet("output/user.parquet")

这将分别打印DataFrame中的数据，并将数据写入到output目录下的user.parquet文件中。