用spark sql统计hive表数据量脚本
时间: 2024-01-25 17:03:08 浏览: 168
您可以使用以下Scala代码来使用Spark SQL统计Hive表数据量:
```scala
import org.apache.spark.sql.SparkSession
object HiveTableDataCount {
def main(args: Array[String]): Unit = {
val spark = SparkSession
.builder()
.appName("Hive Table Data Count")
.enableHiveSupport()
.getOrCreate()
val tableName = "your_table_name"
val dataCount = spark.sql(s"SELECT COUNT(*) as count FROM $tableName").collect()(0).getLong(0)
println(s"Table $tableName has $dataCount rows.")
spark.stop()
}
}
```
在上述代码中,我们创建了一个SparkSession对象,并启用了Hive支持。接着,我们指定要查询的表名,并执行一个SQL语句来获取数据量。最后,我们将数据量打印输出,关闭SparkSession对象并停止Spark应用程序。
请注意将`your_table_name`替换为您要查询的实际表名。
阅读全文