python爬取多个网页内容
时间: 2023-07-12 20:04:09 浏览: 44
要爬取多个网页内容,可以使用 Python 中的 requests 库和 BeautifulSoup 库,具体步骤如下:
1. 导入 requests 和 BeautifulSoup 库:
```
import requests
from bs4 import BeautifulSoup
```
2. 定义要爬取的网页链接列表:
```
urls = ['https://www.example.com/page1', 'https://www.example.com/page2', 'https://www.example.com/page3']
```
3. 遍历链接列表,使用 requests 库获取网页内容并解析:
```
for url in urls:
# 发送 GET 请求获取网页内容
response = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(response.content, 'html.parser')
# 处理网页内容,比如提取需要的数据
...
```
在遍历链接列表时,可以使用循环变量 i 来命名每个网页的文件名,比如:
```
for i, url in enumerate(urls):
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
with open(f'page{i+1}.html', 'w', encoding='utf-8') as f:
f.write(str(soup))
```
这样就可以将每个网页的内容保存到以数字命名的文件中了。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)