python3.12爬虫

### Python 3.12 版本中的 Web Scraping

尽管当前主流使用的 Python 版本可能还未更新至 3.12，但可以基于现有稳定版如 Python 3.x 的最佳实践来推测未来版本的功能应用。对于网页抓取而言，核心库和框架通常会保持向后兼容性并持续改进性能。

#### 使用 Requests 库下载网页
为了获取目标网站的内容，`requests` 是最常用的 HTTP 请求库之一。该库提供了简洁易用的方法来进行 GET 和 POST 请求，从而轻松地从服务器请求 HTML 文档[^2]。

import requests

url = 'https://example.com'
response = requests.get(url)
html_content = response.text
print(html_content[:500])  # 打印前500字符查看部分源码

#### 解析 HTML 内容
BeautifulSoup 结合 `lxml` 解析器能够高效解析复杂的 HTML 文件结构。这有助于提取特定标签内的数据或属性值，进而实现精准的数据采集工作[^1]。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')
titles = soup.find_all('h1')  # 查找所有的<h1>标题元素
for title in titles:
    print(title.string.strip())

#### 自动化浏览器交互 Selenium WebDriver
当面对动态加载内容或是需要模拟真实用户行为时，Selenium 提供了一个强大的解决方案。它支持多种浏览器驱动程序，并可通过编写脚本来控制页面上的各种操作，比如点击按钮、填写表单等。

from selenium import webdriver
from selenium.webdriver.common.by import By

driver_path = '/path/to/chromedriver'  # 需要提前安装对应版本的 ChromeDriver
browser = webdriver.Chrome(executable_path=driver_path)

try:
    browser.get('http://www.example.com/login.html')
    username_input = browser.find_element(By.NAME, "username")
    password_input = browser.find_element(By.NAME, "password")

    username_input.send_keys('your_username')
    password_input.send_keys('your_password')

finally:
    browser.quit()

#### 数据存储与管理
完成数据收集之后，合理规划数据保存策略至关重要。可以选择将结果存入数据库（MySQL/PostgreSQL）、CSV 文件或者其他任何形式以便后续分析处理。