selenium获取网络请求

Selenium可以通过结合Browsermob-Proxy来获取网络请求的信息。通过使用Browsermob-Proxy，你可以捕获浏览器发出的所有网络请求以及它们的返回信息。下面是使用Selenium和Browsermob-Proxy来获取网络请求的步骤：

1. 首先，确保你已经安装了Selenium和Browsermob-Proxy，并从官方网站下载了相应的浏览器驱动程序。

2. 创建一个Browsermob-Proxy服务器对象，并启动它。

3. 创建一个Selenium WebDriver对象，并将代理设置为Browsermob-Proxy服务器的地址和端口。

4. 使用Selenium WebDriver访问你要进行网络请求抓取的网页。

5. 在访问网页的过程中，Browsermob-Proxy会记录所有的网络请求和返回信息。

6. 通过Browsermob-Proxy提供的API，你可以获取所有的网络请求和返回信息，包括请求的URL、请求方法、请求头、请求参数、返回状态码、返回头和返回内容等。

7. 根据你的需要，对获取到的网络请求和返回信息进行处理和分析。

下面是一个使用Selenium和Browsermob-Proxy获取网络请求的示例代码：

from selenium import webdriver
from browsermobproxy import Server

# 启动Browsermob-Proxy服务器
server = Server("/path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()

# 创建Selenium WebDriver对象，并设置代理
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))
driver = webdriver.Chrome("/path/to/chromedriver", options=chrome_options)

# 设置代理的请求过滤规则，可以根据需要进行设置
proxy.new_har("capture", options={"captureHeaders": True, "captureContent": True})

# 使用Selenium访问网页
driver.get("https://www.example.com")

# 获取所有的网络请求和返回信息
har = proxy.har
for entry in har["log"]["entries"]:
    request = entry["request"]
    response = entry["response"]
    # 在这里可以对请求和返回信息进行处理和分析

# 关闭Selenium WebDriver和Browsermob-Proxy服务器
driver.quit()
proxy.close()
server.stop()