python requests爬取网页

Python requests是一个第三方的HTTP库，可以使用它来发送HTTP/1.1请求，并且可以轻松地将HTTP响应内容解析成Python对象。使用Python requests可以实现简单的网页爬取，具体步骤如下：

1.安装requests库

在终端中输入以下命令：

pip install requests

2.发送请求

使用requests.get()方法可以发送一个GET请求，获取指定url的响应内容。

import requests

url = 'https://www.baidu.com'
response = requests.get(url)

3.获取响应内容

可以使用response.text或response.content获取响应内容。

import requests

url = 'https://www.baidu.com'
response = requests.get(url)

# 获取响应内容
print(response.text)

4.解析响应内容

使用Python的解析库（如BeautifulSoup、lxml等）可以方便地解析响应内容。

import requests
from bs4 import BeautifulSoup

url = 'https://www.baidu.com'
response = requests.get(url)

# 使用BeautifulSoup解析响应内容
soup = BeautifulSoup(response.text, 'lxml')
print(soup.title)

以上就是使用Python requests爬取网页的基本步骤。需要注意的是，在实际的爬虫应用中，还需要处理反爬措施、设置请求头、使用代理IP等问题。