python+Selenium获取Network数据之后怎么筛选数据的完整代码

在Python中，结合Selenium库获取网络请求的数据后，通常需要通过`requests`库或其他方式解析HTML内容并提取你需要的信息。以下是一个简单的示例，展示如何使用BeautifulSoup库来筛选数据：

# 首先安装必要的库（如果尚未安装）
import selenium
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import requests

# 初始化Chrome浏览器服务
service = Service('path/to/chromedriver')  # 替换为实际的chromedriver路径
driver = webdriver.Chrome(service=service)

# 让浏览器打开某个网页并等待页面加载完成
url = 'https://example.com'  # 替换为你想要抓取的网站
driver.get(url)
driver.implicitly_wait(10)  # 等待一段时间，让页面完全加载

# 获取网络请求的HTML源码（这一步取决于目标网站是否允许爬虫访问）
page_source = driver.page_source

# 使用requests获取页面源码，适用于不允许Selenium直接访问的情况
# page_source = requests.get(url).text

# 解析HTML源码
soup = BeautifulSoup(page_source, 'html.parser')

# 定义要查找的CSS选择器（根据实际需要调整）
selector = '#data-table'  # 假设我们找的是ID为'data-table'的table

# 使用BeautifulSoup找到匹配元素
table_rows = soup.select(selector)

# 筛选数据
filtered_data = []
for row in table_rows:
    # 每行数据可能是字典、列表等，这里假设每一行是一组键值对组成的字典
    data_dict = {cell.text.strip(): cell['data-value'] for cell in row.find_all(['td', 'th'])}
    filtered_data.append(data_dict)

# 打印或保存筛选后的数据
print(filtered_data)

# 关闭浏览器
driver.quit()