只使用requests方
时间: 2023-07-22 08:30:47 浏览: 86
好的,以下是使用requests库爬取税屋网站前10页数据并写入txt文档的Python代码。注意:请确保已经安装了requests库。
```python
import requests
from lxml import etree
# 爬取税屋网站前10页数据
for page in range(1, 11):
url = f'https://www.shui5.cn/article/BeiJingShiCaiShuiFaGui/index_{page}.html'
response = requests.get(url)
html = etree.HTML(response.text)
articles = html.xpath('//article')
# 将数据写入txt文档
with open('税屋网站数据.txt', 'a', encoding='utf-8') as f:
for article in articles:
title = article.xpath('.//h2/text()')[0].strip()
time = article.xpath('.//time/text()')[0].strip()
f.write(f'{title} {time}\n')
```
该代码将爬取税屋网站前10页数据,并将每篇文章的标题和时间写入名为“税屋网站数据.txt”的txt文档中。
相关问题
requests使用
requests是一个Python第三方库,用于发送HTTP请求。使用pip安装requests非常简单,只需要在命令行中输入“pip install requests”即可。requests支持多种请求方式,包括GET、POST、PUT、DELETE等。使用requests发送请求非常简单,只需要调用相应的方法即可。例如,要发送一个GET请求,可以使用requests.get()方法。如果需要附加额外的信息,可以使用params参数构造带请求参数的GET请求。具体操作方法可以参考相关文档。
阅读全文