spark读取嵌套json代码测试示例
时间: 2023-06-05 19:48:03 浏览: 128
以下是一个使用Spark读取嵌套JSON的代码测试示例:
```scala
import org.apache.spark.sql.SparkSession
object NestedJsonReader {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("NestedJsonReader")
.master("local[*]")
.getOrCreate()
val json = """{
| "name": "John",
| "age": 30,
| "address": {
| "street": "123 Main St",
| "city": "New York",
| "state": "NY",
| "zip": "10001"
| },
| "phoneNumbers": [
| {
| "type": "home",
| "number": "555-555-1234"
| },
| {
| "type": "work",
| "number": "555-555-5678"
| }
| ]
|}""".stripMargin
val df = spark.read.json(Seq(json).toDS())
df.printSchema()
df.show()
}
}
```
这个示例中,我们使用了SparkSession来创建一个Spark应用程序。然后,我们定义了一个包含嵌套JSON的字符串。接下来,我们使用Spark的`read.json()`方法将JSON字符串转换为DataFrame。最后,我们打印出DataFrame的模式和内容。
这个示例可以帮助你了解如何使用Spark读取嵌套JSON数据。
阅读全文