使用SparkSession.builder创建一个基本的SparkSession实例。基于JSON文件的内容创建一个DataFrame并显示DataFrame的内容
时间: 2024-05-14 14:18:32 浏览: 85
JSON基础教程.
好的,以下是代码实现:
```python
from pyspark.sql import SparkSession
# 创建 SparkSession 实例
spark = SparkSession.builder \
.appName("create_dataframe") \
.getOrCreate()
# 基于 JSON 文件创建 DataFrame
df = spark.read.json("path/to/json/file")
# 显示 DataFrame 的内容
df.show()
```
其中,`appName` 方法用于指定应用程序的名称,`getOrCreate` 方法用于获取现有的 SparkSession 实例或创建一个新的实例。`read` 方法用于读取指定路径下的 JSON 文件,并返回一个 DataFrame 对象。`show` 方法用于显示 DataFrame 的内容。
你需要将 `path/to/json/file` 替换为实际的 JSON 文件路径。
阅读全文