python用requests爬虫抓取网页数据

Python的`requests`库是一个非常流行的选择，用于编写网络爬虫来抓取网页数据。它提供了一个简单易用的API，可以发送HTTP请求并获取响应。以下是使用`requests`进行基本的网页抓取步骤：

1. 首先，你需要安装requests库，如果你还没有安装，可以在命令行输入 `pip install requests` 进行安装。

2. 导入requests模块：

import requests

3. 发送GET请求获取网页内容：

response = requests.get('https://www.example.com')  # 替换为你想爬取的网址

4. 检查请求状态码，确认是否成功：

if response.status_code == 200:  # 200表示请求成功
    content = response.text  # 获取到的HTML文本
else:
    print(f"请求失败，状态码：{response.status_code}")

5. 解析网页内容（例如使用BeautifulSoup、re等库），提取所需的数据：

from bs4 import BeautifulSoup

soup = BeautifulSoup(content, 'html.parser')
data = soup.find_all('div', class_='some-class')  # 根据需要定位元素

6. 存储数据或进一步处理：

for item in data:
    print(item.text)