写一个BeautifulSoup爬取多个网页的代码
时间: 2024-04-05 10:23:53 浏览: 220
用beautifulsoup爬页面
当然可以,这是一段使用BeautifulSoup爬取多个网页的Python代码示例:
```python
import requests
from bs4 import BeautifulSoup
urls = ['https://www.google.com', 'https://www.baidu.com', 'https://www.youtube.com']
for url in urls:
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 接下来对soup进行相应处理即可,比如提取网页内容、爬取链接等等
```
以上代码会依次爬取urls中的网页,您可以根据具体需求修改代码。希望能对您有所帮助。
阅读全文