selenuim中对page_source使用pq函数的作用

在 Selenium 中，`page_source` 是浏览器渲染后的 HTML 源码，当你通过 `driver.page_source` 获取到这个字符串后，`pq` 函数通常是配合 Python 的 `Pandas-Quest`（pandasql 或简称为 pq）库来使用的。

Pandas-Quest 提供了一个 SQL 风格的查询接口，允许你在数据框上像操作数据库一样处理字符串形式的 HTML。`pq` 函数的作用是对 `page_source` 进行解析，将其转换成类似 pandas 数据帧的数据结构，然后你可以利用 SQL 查询语法来筛选、提取你需要的信息，比如查找特定标签、属性或者XPath路径的内容。

举个例子，假设你想从页面源代码中找出所有 `<h1>` 标签的内容，你可以这样做：

from bs4 import BeautifulSoup
import pq

source = driver.page_source
soup = BeautifulSoup(source, 'html.parser')
parsed_html = pq(soup.prettify())  # 使用 pq 对 HTML 进行解析

# 使用 SQL 风格的查询
h1_content = parsed_html('.h1').text  # 找出所有 class 为 "h1" 的元素文本

相关问题

pq(driver.page_source)

`pq(driver.page_source)` 这是一个使用 Python 的 `Pandas` 库中 `pandas.read_html()` 或 `pandas.read_htmls()` 函数的语法片段，通常用于从网页 HTML 内容中提取表格数据。`driver.page_source` 是一个变量，它代表了浏览器驱动（比如 Selenium 中的 WebDriver）获取到的页面源代码。

`pq` 可能是指 `BeautifulSoup` 库的一个简写形式（`BeautifulSoup` 是一个解析 HTML 和 XML 文档的强大库），`pandas.read_html` 将这个源代码解析成 HTML 表格，然后通过 `pq` 对象进一步处理，将每个表格转换成 DataFrame（一种二维表格数据结构），方便后续的数据分析操作。

例如：

from bs4 import BeautifulSoup
import pandas as pd

# 获取页面源代码
page_source = driver.page_source
# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(page_source, 'html.parser')
# 使用 pq 对象读取所有表格
tables = pq(soup)

# 遍历并转化为 DataFrame
dataframes = [pd.read_html(str(table)) for table in tables]

selenium 淘宝图片

### 使用 Selenium 实现淘宝图片抓取

为了实现淘宝图片的抓取，Selenium 可以作为一个强大的工具来模拟人类行为并自动执行浏览器中的操作。具体来说，在处理像淘宝这样的复杂网站时，Selenium 能够轻松应对由 JavaScript 动态渲染的内容[^3]。

#### 准备工作

首先安装必要的 Python 库：

pip install selenium pyquery pymongo opencv-python

接着下载对应版本的 ChromeDriver 或者其他 WebDriver 并配置环境变量以便于调用。

#### 初始化 WebDriver 和登录流程

由于许多电商平台会设置反爬虫机制，因此建议先手动完成一次完整的登录过程，并保存 Cookies 供后续脚本重用，从而绕过可能存在的验证码等问题。

from selenium import webdriver
import pickle

driver = webdriver.Chrome()
driver.get('https://www.taobao.com')

# 手动登录后保存cookies
pickle.dump(driver.get_cookies(), open("taobao_cookies.pkl", "wb"))

#### 抓取商品详情页内的图片链接

利用之前保存下来的 cookies 来保持已登录状态，进入目标分类下的列表页面获取各个商品项对应的 URL 集合；随后遍历这些URL逐一打开详情页提取其中的商品主图和其他配图地址。

from selenium.webdriver.common.by import By
from time import sleep
from pyquery import PyQuery as pq

def get_product_images(url):
    driver = webdriver.Chrome()

    # 加载cookie维持登陆状态
    driver.get('https://www.taobao.com')
    for cookie in pickle.load(open("taobao_cookies.pkl", "rb")):
        if 'expiry' in cookie:
            del cookie['expiry']
        driver.add_cookie(cookie)

    try:
        driver.get(url)
        doc = pq(driver.page_source)
        
        images = []
        main_image = doc('.J_ThumbList-item img').attr.src
        more_pics = [img.attr.src for img in doc('.tb-booth ul li img').items()]
        images.extend([main_image, *more_pics])
    
        return list(set(images))  # 去除重复项
    
    finally:
        driver.quit()

此函数接收单个产品页面链接作为参数返回该产品的所有可用图片资源路径组成的集合。

#### 存储至数据库

最后一步就是将收集到的数据存入 MongoDB 数据库中长期保存起来方便日后查询使用。

from pymongo import MongoClient

client = MongoClient('localhost', 27017)
db = client['taobao_goods']

for image_url in product_images_urls:
    db.images.insert_one({"url": image_url})

以上代码片段展示了如何构建一个简单的基于 Selenium 的 Web 爬虫框架用于从淘宝网批量采集商品图片信息的过程概述。