头歌BeautifulSoup解析网页

BeautifulSoup是一个Python库，专用于从HTML和XML文档中提取结构化的数据。它通过分析页面的标记结构，帮助开发者方便地“抓取”和处理网页内容，常用于网络爬虫、数据挖掘等场景。

使用BeautifulSoup解析网页的基本步骤如下：

1. **安装**：首先需要安装beautifulsoup4和requests库，可以使用pip命令进行安装：

   pip install beautifulsoup4 requests

2. **导入库**：在Python脚本中导入所需的模块：

   from bs4 import BeautifulSoup
   import requests

3. **发送请求**：使用requests库获取网页内容：

   url = 'http://example.com'
   response = requests.get(url)
   soup = BeautifulSoup(response.text, 'html.parser')

4. **解析文档**：对BeautifulSoup对象`soup`进行遍历和操作，查找标签、属性、文本等内容：

   # 查找所有段落元素
   paragraphs = soup.find_all('p')

   # 提取特定元素的内容
   title = soup.title.string

   # 进一步筛选或操作数据
   for paragraph in paragraphs:
       print(paragraph.text)