怎么用request爬取连续的网页
时间: 2023-11-17 11:08:49 浏览: 66
start_request爬取51job_
你可以使用Python中的requests库来实现连续爬取网页的功能。代码如下:
```python
import requests
url = "http://example.com/page{}.html"
for i in range(1, 11):
page_url = url.format(i)
response = requests.get(page_url)
if response.status_code == 200:
# 处理爬取到的数据
print(response.text)
else:
print("访问网页失败:", page_url)
```
其中,`url`变量是待爬取的网页的URL格式,使用`{}`来表示页码的占位符。在循环中,通过`format`方法来替换页码,然后使用`requests.get`方法来发送GET请求,获取网页的内容。如果访问成功,可以对爬取到的数据进行处理,否则输出访问失败的提示信息。
阅读全文