python爬虫输出json

Python爬虫可以使用requests库发起网络请求获取数据，然后使用json模块将数据转换为JSON格式输出。下面是一个简单的例子：

import requests
import json

url = "https://example.com/api/data"
response = requests.get(url)
data = json.loads(response.text)

print(json.dumps(data, indent=4))

上述代码中，我们首先使用requests库发起了一个GET请求，获取了一个API接口返回的数据。然后使用json.loads()函数将返回的数据解析为Python对象，最后使用json.dumps()函数将Python对象转换为JSON字符串并输出，其中indent参数用于指定缩进空格数。

相关问题

python 爬虫 json 处理_python 爬虫怎么处理json内容

在 Python 爬虫中，处理 JSON 内容通常可以使用 Python 内置的 json 模块。下面是一个使用 json 模块处理 JSON 内容的示例代码：

import requests
import json

url = 'http://example.com/api/data.json'
response = requests.get(url)
data = json.loads(response.text)

# 处理 JSON 数据
for item in data:
    print(item['name'], item['age'])

上面的代码中，首先使用 requests 库发送 HTTP GET 请求获取 JSON 数据。然后使用 json.loads() 方法将 JSON 数据转换为 Python 字典对象。接着就可以像处理普通 Python 字典一样处理 JSON 数据了。

如果需要将 Python 字典对象转换为 JSON 字符串，可以使用 json.dumps() 方法，示例如下：

data = {'name': 'John', 'age': 30}
json_str = json.dumps(data)
print(json_str)

上面的代码中，首先定义一个 Python 字典对象，然后使用 json.dumps() 方法将其转换为 JSON 字符串并打印输出。

python爬虫中json.dumps常用来干什么？

在Python爬虫中，json.dumps()经常用来将Python对象（如字典、列表等）转换为JSON格式的字符串。这个函数通常在将数据发送到API或将数据存储到文件中时使用。

在爬虫中，我们经常需要将获取的数据转换为JSON格式，以便于传输和存储。使用json.dumps()可以轻松地实现这一点。例如，我们可以使用以下代码将一个字典转换为JSON格式的字符串：

import json

data = {"name": "Alice", "age": 25}
json_data = json.dumps(data)
print(json_data)

这将输出以下JSON格式的字符串：

{"name": "Alice", "age": 25}

然后，我们可以将这个字符串发送到API或保存到文件中。