在Python爬虫里复杂型json解析

在Python爬虫中处理复杂JSON数据通常涉及到使用`json`模块或者第三方库如`jsonschema`、`pydantic`等。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它可能会包含嵌套的对象和数组，这使得解析变得复杂。

例如，如果你遇到一个这样的JSON结构：

{
    "name": "John",
    "age": 30,
    "address": {
        "street": "123 Main St",
        "city": "New York",
        "coordinates": [40.7128, -74.0060]
    },
    "hobbies": ["reading", "gaming", "traveling"]
}

你可以通过递归函数或者迭代的方式来解析它：

1. `json.loads()`: 将JSON字符串转换成Python字典，然后逐层访问键值对。

   import json
   
   data = '{"name":"John","age":30,"address":{"street":"123 Main St","city":"New York","coordinates":[40.7128,-74.0060]}}'
   parsed_data = json.loads(data)
   
   # 访问嵌套元素
   name = parsed_data['name']
   city = parsed_data['address']['city']

2. 使用`json.dumps()`进行反序列化，将Python数据结构转回JSON格式。

3. 对于更复杂的结构，可以使用第三方库如`pandas`，它可以方便地处理表格化的数据，或者是`dataclasses`进行属性自动绑定。