python爬虫爬取网页数据

使用Python爬虫可以很方便地获取网页数据，以下是一个简单的示例代码：

import requests

# 发送请求
response = requests.get("https://www.example.com/")

# 获取网页内容
html = response.content

# 解析网页内容
# 这里可以使用第三方库，如BeautifulSoup、lxml等

在这个示例中，我们使用了requests库来发送请求获取网页内容。接下来，可以使用一些第三方库来解析网页内容，如BeautifulSoup、lxml等。例如，使用BeautifulSoup可以很方便地提取页面中的标签和属性：

from bs4 import BeautifulSoup

# 解析网页内容
soup = BeautifulSoup(html, 'html.parser')

# 提取标签和属性
title = soup.title
links = soup.find_all('a')

# 输出结果
print(title.string)
for link in links:
    print(link.get('href'))

这里只是一个简单的示例，实际上在实际爬取过程中，还需要考虑反爬虫机制、异常处理、数据存储等问题。