python中requests爬虫

requests是Python中一个常用的HTTP库，可以用于发送HTTP请求和处理HTTP响应，非常适合爬取网站数据。使用requests库进行爬虫可以轻松地发送请求、获取响应和解析HTML内容。以下是一个使用requests进行网页爬取的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)
html_content = response.text

# 处理HTML内容

以上代码使用requests库发送了一个GET请求，获取了`https://www.example.com`网站的HTML内容，并将其存储在`html_content`变量中。

在使用requests库时，还可以设置请求头、添加参数、设置Cookie等操作，以实现更为复杂的爬虫功能。同时，还需要注意一些反爬虫策略，如频率限制、验证码等问题。