Spark SQL DataFrame操作 怎么打印出数据集中有多少条记录,有多少个用户,有多少件商品,有多少个的代码商品类别,记录了多少个日期的数据。
时间: 2024-03-08 17:47:25 浏览: 135
数据报表打印控件,可方便地打印记录集
4星 · 用户满意度95%
你可以使用以下代码来分别统计数据集中的记录条数、用户数量、商品数量、商品类别数量和日期数量:
```python
# 导入必要的库
from pyspark.sql.functions import countDistinct
# 统计记录条数
num_records = df.count()
print("记录条数:", num_records)
# 统计用户数量
num_users = df.select("user_id").distinct().count()
print("用户数量:", num_users)
# 统计商品数量
num_items = df.select("item_id").distinct().count()
print("商品数量:", num_items)
# 统计商品类别数量
num_categories = df.select("category").distinct().count()
print("商品类别数量:", num_categories)
# 统计日期数量
num_dates = df.select("date").distinct().count()
print("日期数量:", num_dates)
```
其中,`df` 是你的 DataFrame 对象。通过使用 `count()` 函数、`distinct()` 函数和 `countDistinct()` 函数,你可以分别计算出每个指标的数量。
阅读全文