requests库爬虫

requests库是Python中一个非常流行的HTTP请求库，可以让我们轻松地发送HTTP请求并获取响应。使用requests库可以方便地进行爬虫开发。

以下是一个使用requests库进行爬取的示例代码：

import requests

# 发送GET请求
response = requests.get('http://example.com')

# 获取响应内容
content = response.content

# 发送POST请求
payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('http://example.com', data=payload)

# 获取响应状态码
status_code = response.status_code

# 获取响应头信息
headers = response.headers

# 获取响应内容
content = response.content

需要注意的是，在实际的爬虫开发中，我们还需要处理异常情况、设置请求头、处理Cookies等。因此，使用requests库进行爬虫开发时，需要综合考虑各种因素，保证代码的可靠性和稳定性。