使用 Beautiful Soup 解析网页;
时间: 2024-01-28 18:03:43 浏览: 71
python模块包BeautifulSoup解析网页专用方式之一
Beautiful Soup 是一个用于网页解析的 Python 库,可以方便地从 HTML 或 XML 文件中提取数据。下面是一个简单的例子,演示如何使用 Beautiful Soup 解析网页:
首先,需要安装 Beautiful Soup 库。在命令行中执行以下命令即可:
```
pip install beautifulsoup4
```
然后,可以使用以下代码从一个网页中提取出所有的链接:
```python
import requests
from bs4 import BeautifulSoup
# 发送 HTTP 请求
url = 'http://www.baidu.com'
response = requests.get(url)
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 提取所有的链接
links = []
for link in soup.find_all('a'):
links.append(link.get('href'))
# 打印所有的链接
print(links)
```
在上面的代码中,首先使用 requests 库发送了一个 HTTP 请求,获取了百度首页的 HTML 内容。然后,使用 Beautiful Soup 对 HTML 进行解析,提取了所有的链接。最后,将这些链接打印出来。
除了提取链接,Beautiful Soup 还可以用于提取页面中的文本、图片、表格等内容。具体使用方法可以参考 Beautiful Soup 的官方文档。
阅读全文