python爬虫爬取网页数据

Python爬虫是一种自动化程序，可以通过网络上的HTTP GET请求获取网页数据，并将其解析、处理和存储为结构化数据。以下是一些常用的Python爬虫库和框架：

1. requests：用于发送HTTP请求，获取网页源代码。
2. BeautifulSoup：用于解析HTML和XML文档，并提供了搜索和遍历文档树的功能。
3. Scrapy：一个高级的Python爬虫框架，支持异步请求和处理、自定义中间件和扩展等功能。
4. Selenium：一个自动化测试框架，可以模拟浏览器行为，对动态网页进行爬取。
5. PyQuery：使用jQuery语法解析HTML文档，实现了类似于BeautifulSoup的功能。

下面是一个简单的Python爬虫示例：

import requests
from bs4 import BeautifulSoup

url = 'https://www.python.org/'
response = requests.get(url)
html = response.content
soup = BeautifulSoup(html, 'html.parser')

# 获取网页标题
title = soup.title.string
print('网页标题：', title)

# 获取导航栏链接
nav_links = soup.find('nav').find_all('a')
for link in nav_links:
    print(link.get('href'))

这个示例使用了requests库发送HTTP请求，使用BeautifulSoup解析HTML文档，获取了网页标题和导航栏链接。