网络爬虫Urllib和BeatutifulSoup的使用

网络爬虫Urllib和BeautifulSoup是Python中常用的抓取网页数据的库组合。Urllib是Python内置的用于处理URL的模块，它提供了一种简单的方式来发送HTTP请求，获取网页内容。

1. **Urllib**:
- `urllib.request`模块包括了基本的HTTP客户端功能，如`urlopen()`函数可以打开一个URL并返回一个文件对象，你可以读取其中的数据。
- 使用`urllib.parse`模块对URL进行解析和编码，例如构建完整的请求URL。

2. **BeautifulSoup**:
- 是一个HTML和XML解析库，基于Python的lxml库，使得从HTML文档中提取数据变得容易。它能识别HTML标签、属性和文本，并提供API让你遍历、搜索和修改树状结构。
- 主要通过`BeautifulSoup(content, 'parser')`创建一个BeautifulSoup对象，然后你可以使用`find()`, `find_all()`, `select()`等方法查找特定元素。

组合使用步骤：

import urllib.request
from bs4 import BeautifulSoup

# 1. 发送HTTP请求
response = urllib.request.urlopen('http://example.com')

# 2. 解析响应内容
html_content = response.read().decode('utf-8')
soup = BeautifulSoup(html_content, 'lxml')

# 3. 使用BeautifulSoup查找和提取数据
data = soup.find_all('div', class_='content') # 根据需要提取div标签内的class='content'的内容