Python爬虫教程：数据持久化与JSON操作

"Python爬虫基础讲解（十）：数据持久化——json" 在Python中，数据持久化是指将数据保存到硬盘上，以便在程序关闭后仍能保留这些数据。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。Python的`json`模块提供了方便的API，用于在Python对象和JSON格式之间进行转换。 1. 编码与解码 当我们需要将Python数据结构转换为JSON字符串时，可以使用`json.dumps()`函数。例如，有一个包含`name`、`shares`和`price`的字典： ```python import json data = { 'name': 'ACME', 'shares': 100, 'price': 542.23 } json_str = json.dumps(data) ``` `dumps()`函数会将字典转换为JSON字符串，输出类似于Python的`repr()`函数，但类型已由字典转变为字符串。 将JSON字符串保存到文件，可以使用`open()`函数以写入模式（'w'）打开文件，然后写入JSON字符串： ```python with open('data.json', mode='w', encoding='utf-8') as f: f.write(json_str) ``` 2. 中文字符串问题 当处理包含中文字符的字典时，`dumps()`函数默认会将中文字符转换为Unicode转义序列。如果希望保持原始的中文字符，可以设置`ensure_ascii=False`： ```python json_str = json.dumps(data, ensure_ascii=False) ``` 这样保存的JSON文件中，中文字符将以正确的形式存储。 3. 解码 反序列化是将JSON字符串转换回Python对象的过程，可以使用`json.loads()`函数完成。例如，从已保存的JSON文件中读取数据： ```python with open('data.json', 'r', encoding='utf-8') as f: data = json.load(f) print(data) ``` 这将返回一个与原始字典相同结构的Python字典，可以继续在程序中使用。 在爬虫应用中，数据持久化是常见的需求。爬取到的数据通常需要存储到文件或数据库中，以备后续分析或处理。JSON因其简单性和跨平台兼容性，常作为存储爬虫结果的首选格式。通过Python的`json`模块，我们可以轻松地完成数据的编码和解码，实现数据在Python对象和JSON字符串间的转换。