利用Python爬取多页网页并举一个例子
时间: 2023-04-09 20:00:33 浏览: 296
可以的,以下是一个简单的例子:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com/page={}' # 假设这是要爬取的网页链接,{}表示页码
for page in range(1, 6): # 爬取前5页
response = requests.get(url.format(page))
soup = BeautifulSoup(response.text, 'html.parser')
# 在这里可以对soup进行解析,提取需要的信息
# 例如:soup.find_all('a') 可以找到所有链接
```
这个例子中,我们使用了requests库来发送HTTP请求,获取网页内容,然后使用BeautifulSoup库对网页进行解析,提取需要的信息。通过循环遍历不同的页码,我们可以爬取多页网页。
阅读全文