Python爬虫库介绍：requests与BeautifulSoup

# 1. 简介：Python爬虫的基本概念和作用

在当前Web信息爆炸的时代，获取特定页面的数据对于许多应用程序来说是至关重要的。而网络爬虫（Web Crawler）作为一种自动获取网页信息的程序在这一过程中扮演着重要角色。Python语言因其易学易用和丰富的第三方库而成为爬虫应用的首选之一。本文将介绍Python爬虫的基本概念、爬虫库的使用以及结合requests和BeautifulSoup库进行网页信息获取与提取的实战示例。

## 2. 什么是爬虫库：爬虫库的定义和作用

爬虫库是为了方便开发者进行网络爬虫程序开发而设计的工具包，它封装了一系列用于发送HTTP请求、解析HTML页面、提取页面信息等功能的函数和类。使用爬虫库可以简化爬虫程序的开发流程，提高开发效率。

在Python中，有多个优秀的爬虫库供开发者选择，例如requests、BeautifulSoup、Scrapy等。这些库各具特点，可以根据项目需求选择最适合的爬虫库进行开发。

爬虫库的主要作用包括：

1. 发送HTTP请求：爬虫库提供了发送HTTP请求的功能，可以模拟浏览器发送GET、POST等请求，获取网页源码或其他数据。
2. 解析HTML页面：爬虫库可以解析HTML页面，将页面结构化为树状的数据结构，方便开发者提取所需信息。
3. 提取页面信息：爬虫库提供了各种方法和函数，可以灵活地提取页面中的文本、链接、图片等信息。
4. 处理动态页面：爬虫库可以处理动态页面，如使用JavaScript渲染的页面，通过模拟浏览器行为获取完整的页面数据。
5. 使用代理和cookies：爬虫库支持使用代理服务器和cookies，以解决一些反爬虫机制或登录验证等问题。

### 3. requests库介绍

在Python爬虫中，使用requests库可以方便地发送HTTP请求，并且处理响应结果。下面将介绍requests库的基本功能和常用方法。

#### 3.1 发送HTTP请求

使用requests库发送HTTP请求非常简单，只需调用对应的方法即可。以下是使用requests库发送GET请求的示例代码：

import requests

# 发送GET请求
url = 'https://www.example.com'
response = requests.get(url)

# 打印响应状态码和内容
print(response.status_code)
print(response.text)

上述代码中，使用`requests.get(url)`发送了一个GET请求，并且通过`response.status_code`获取了响应的状态码，`response.text`获取了响应的内容。

#### 3.2 处理响应结果

requests库还提供了丰富的方法来处理响应结果，例如设置请求头、查询参数、超时设置等。下面是使用requests库设置请求头发送POST请求的示例代码：

import requests

# 发送POST请求并设置请求头
url = 'https://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post(url, headers=headers, data=data)

# 打印响应内容
print(response.text)

#### 3.3 使用代理和cookies

通过requests库，还可以很方便地使用代理和处理cookies，以实现更复杂的爬虫任务。以下是使用代理和cookies的示例代码：

import requests

# 使用代理
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get('https://www.example.com', proxies=proxies)

# 使用cookies
cookies = {'cookie_name': 'cookie_value'}