python 爬取商品中不同规格的价格

Python爬虫抓取商品中不同规格价格的过程通常涉及以下几个步骤：

1. **选择合适的库**：使用如`requests`库来发送HTTP请求获取网页内容，`BeautifulSoup`或`lxml`库解析HTML结构。

2. **定位目标元素**：分析网页源码，找到包含商品信息特别是价格的HTML元素，这通常是通过CSS选择器或XPath表达式来定位。

3. **处理规格选项**：如果商品有多种规格可以选择，比如大小、颜色等，页面上可能会有不同的表格、下拉菜单或复选框来表示。你需要遍历这些选项并结合它们的值。

4. **筛选价格数据**：对于每种规格，查找对应的价格标签或计算公式。有时候价格会被隐藏，可能需要JavaScript渲染才能显示，这种情况下可能需要用到像`Selenium`这样的工具来模拟浏览器操作。

5. **数据存储**：将抓取到的数据组织好，可以是字典、列表或数据结构，以便后续分析或存入数据库。

示例代码片段（假设我们使用`requests`和`BeautifulSoup`）：

import requests
from bs4 import BeautifulSoup

# 发送请求
url = 'http://example.com/product'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 定位价格部分
price_elements = soup.select('.product-price')

# 遍历规格选项
spec_options = soup.select('.specification option')  # 假设是个下拉菜单

for spec_option in spec_options:
    spec_value = spec_option['value']  # 获取规格值
    price_text = price_elements[0].text  # 假设只有一个价格显示
    price = float(price_text.replace('￥', ''))  # 转换为浮点数

    # 存储数据
    data.append({'spec': spec_value, 'price': price})

# 数据清洗和进一步处理...