使用scrapy爬取当当网图书热销榜代码

Scrapy是一个强大的Python网络爬虫框架，用于高效地抓取网页数据。下面是一个简单的示例，展示如何使用Scrapy从当当网抓取图书热销榜的数据：

首先，你需要安装必要的库并创建一个新的Scrapy项目：

pip install scrapy

然后，在项目目录下新建一个名为`my_spider.py`的文件，编写Spider类：

# my_spider.py
import scrapy

class DangDangBestSellersSpider(scrapy.Spider):
    name = 'dangdang_bestsellers'
    start_urls = ['https://book.dangdang.com/bestsellers']  # 当当网热销榜页面URL

    def parse(self, response):
        # 解析热销书籍信息
        book_elements = response.css('div.product-item')  # 假设热销书籍信息位于CSS选择器'div.product-item'

        for book in book_elements:
            title = book.css('h2 a::text').get()  # 获取标题
            link = book.css('h2 a::attr(href)').get()  # 获取链接
            rating = book.css('.rating::text').get()  # 获取评分（假设在'.rating'类内）

            yield {
                'title': title,
                'link': response.urljoin(link),  # 防止相对链接，转为绝对链接
                'rating': rating,
            }

        # 分页处理，如果存在分页，可以使用next_page selector查找并请求下一页
        next_page = response.css('a.next::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

最后，运行爬虫：

scrapy crawl dangdang_bestsellers -o books.csv  # 将结果保存到books.csv文件

这个例子假设了热销榜页面的HTML结构，实际需要根据当当网的具体布局调整CSS选择器。同时，如果网站有反爬虫机制，可能需要添加User-Agent、设置延时等。