只使用request方法
时间: 2023-09-04 20:07:20 浏览: 76
好的,如果你只想使用requests库来实现爬取和存储数据的功能,也是可以的。下面是使用requests库的代码示例:
```python
import requests
# 设置请求头,模拟浏览器发送请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 创建一个空字符串,用于存储爬取到的数据
result = ''
# 构建URL列表,遍历每一页的数据
for page in range(1, 11):
url = 'https://www.shui5.cn/article/BeiJingShiCaiShuiFaGui/index_{}.html'.format(page)
response = requests.get(url, headers=headers)
if response.status_code == 200:
articles = response.json()['data']
for article in articles:
title = article['title']
date = article['create_time']
content = article['summary']
result += 'Title: {}\nDate: {}\nContent: {}\n\n'.format(title, date, content)
# 将爬取到的数据写入txt文档
with open('shui5.txt', 'w', encoding='utf-8') as f:
f.write(result)
```
这段代码首先定义了请求头,然后构建了一个URL列表,用于遍历每一页的数据。接着遍历URL列表,对每一页的数据进行解析,并将解析结果存储在一个字符串中。最后使用内置的open函数将字符串写入txt文档中。需要注意的是,由于税屋网站返回的是JSON格式的数据,所以我们需要使用response.json()方法来将JSON数据转换成Python对象。
阅读全文