pysparkjoin连接结果展示
时间: 2023-07-02 16:08:36 浏览: 58
在 PySpark 中,可以使用 `join` 函数连接两个数据集。连接的结果可以通过以下方式展示:
1. 使用 `show()` 方法展示前几行结果:
```python
joined_data = data1.join(data2, on='key_column')
joined_data.show()
```
2. 使用 `display()` 函数在 Notebook 中展示结果:
```python
from pyspark.sql.functions import *
joined_data = data1.join(data2, on='key_column')
display(joined_data)
```
3. 将结果保存为 Pandas DataFrame 并展示:
```python
joined_data = data1.join(data2, on='key_column').toPandas()
print(joined_data.head())
```