scrapy项目爬取淘宝商品信息

可以使用 Scrapy 框架来爬取淘宝商品信息。

以下是一个简单的 Scrapy 项目示例：

1. 创建项目

在命令行中执行以下命令创建 Scrapy 项目：

scrapy startproject taobao

这将创建一个名为 `taobao` 的目录，其中包含 Scrapy 项目的基本结构。

2. 创建 Spider

进入 `taobao/spiders` 目录并创建一个名为 `taobao_spider.py` 的文件，用于编写 Spider。

以下是一个简单的 Spider 示例：

import scrapy

class TaobaoSpider(scrapy.Spider):
    name = "taobao"
    allowed_domains = ["taobao.com"]
    start_urls = [
        "https://www.taobao.com/market/nvzhuang/pc?spm=a21bo.2017.201867-main.2.5af911d9sbfxKd",
    ]

    def parse(self, response):
        for product in response.xpath("//div[@class='item J_MouserOnverReq  ']"):
            yield {
                'title': product.xpath("div/p[@class='title']/a/text()").extract_first(),
                'price': product.xpath("div/p[@class='price g_price g_price-highlight']/strong/text()").extract_first(),
                'sales': product.xpath("div/p[@class='deal-cnt']/text()").extract_first(),
            }

在上面的代码中，定义了一个名为 `TaobaoSpider` 的 Spider，它将爬取淘宝女装商品的首页，并提取每个商品的标题、价格和销量信息。

3. 运行 Spider

在命令行中进入项目根目录，并执行以下命令来运行 Spider：

scrapy crawl taobao -o output.csv

这将运行名为 `taobao` 的 Spider 并将数据输出到名为 `output.csv` 的文件中。

以上是一个简单的 Scrapy 项目示例，你可以根据自己的需求进行修改和扩展。