sprk sql统计hive表

可以使用 Spark SQL 来统计 Hive 表。具体步骤如下：

1. 首先，需要使用 SparkSession 对象来创建一个 Spark 应用程序：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("HiveTableStats").enableHiveSupport().getOrCreate()

2. 接下来，需要使用 Spark SQL 查询 Hive 表并统计数据。以下是一个示例查询，它将计算一个名为 `my_table` 的 Hive 表中的行数和平均值：

df = spark.sql("SELECT COUNT(*), AVG(column_name) FROM my_table")

在上面的查询中，`column_name` 是你想要计算平均值的列的名称。

3. 最后，可以使用 Pandas 将查询结果转换为 DataFrame 并打印出来：

import pandas as pd

pd.DataFrame(df.collect(), columns=df.columns).show()

注意，上面的示例假设你已经正确配置了 Spark 和 Hive，并且已经创建了名为 `my_table` 的表。如果没有，请先创建表并将其加载到 Hive 中。