获取spark.sql().collect()结果集的条数
时间: 2024-05-07 07:15:14 浏览: 224
获取数据库某记录的条数
5星 · 资源好评率100%
可以使用以下代码获取Spark SQL结果集的条数:
```python
result = spark.sql("SELECT * FROM my_table")
count = result.count()
```
在此示例中,我们首先执行Spark SQL查询并将结果存储在`result`变量中。然后,我们使用`count()`函数获取结果集中的记录数,并将其存储在`count`变量中。最后,我们可以使用`print()`函数打印结果集中的记录数:
```python
print("Total records: ", count)
```
阅读全文