python爬虫爬取网页数据

Python 爬虫可以使用多种库和框架，其中比较流行的有 requests、beautifulsoup4、scrapy 等。以下是一个简单的使用 requests 和 beautifulsoup4 进行网页爬取和数据提取的示例代码：

import requests
from bs4 import BeautifulSoup

# 发送 GET 请求获取网页内容
url = 'https://example.com'
response = requests.get(url)

# 解析网页内容并提取数据
soup = BeautifulSoup(response.content, 'html.parser')
title = soup.find('title').get_text()
print(title)

代码解释：

1. 导入 requests 和 BeautifulSoup 库
2. 定义要爬取的网页 URL
3. 使用 requests 库发送 GET 请求，并获取响应内容
4. 使用 BeautifulSoup 库解析响应内容，并通过 find 方法查找网页中的 title 标签
5. 使用 get_text 方法获取 title 标签的文本内容
6. 打印 title 内容