爬虫requests库和pandas库一起使用
时间: 2023-07-24 09:47:05 浏览: 171
Python库 | github2pandas-1.1.2-py3-none-any.whl
爬虫数据可以使用 requests 库获取,然后使用 pandas 库进行数据处理和写入 Excel 文件。以下是一个示例代码:
```python
import requests
import pandas as pd
# 请求数据
url = 'https://www.example.com/api/data'
response = requests.get(url)
data = response.json()
# 转化为 pandas 的 DataFrame 格式
df = pd.DataFrame(data)
# 写入 Excel 文件
df.to_excel('data.xlsx', index=False)
```
其中,`url` 是请求数据的 API 接口地址,`response = requests.get(url)` 发送 HTTP GET 请求,`response.json()` 将响应数据转化为 JSON 格式的 Python 数据类型。`pd.DataFrame(data)` 将数据转化为 pandas DataFrame 格式,`df.to_excel('data.xlsx', index=False)` 将数据写入名为 `data.xlsx` 的 Excel 文件中。
阅读全文