scrapy爬取https://www.bilibili.com/v/popular/all的up主名字、标题、播放量和评论

使用 Scrapy 爬取 Bilibili 热门视频的 UP 主名字、标题、播放量和评论，可以按照如下步骤进行：

1. 创建一个 Scrapy 项目，指定起始链接为 https://www.bilibili.com/v/popular/all。
2. 在项目中创建一个 Spider，定义要爬取的页面链接和提取数据的方式。
3. 在 Spider 中编写解析函数，使用 XPath 或 CSS 选择器提取页面中的 UP 主名字、标题、播放量和评论信息。
4. 将提取到的数据存储到文件或数据库中。

下面是一个示例代码，Spider 名称为 `bilibili`，将数据存储到 CSV 文件中：

import scrapy

class BilibiliSpider(scrapy.Spider):
    name = 'bilibili'
    start_urls = ['https://www.bilibili.com/v/popular/all']

    def parse(self, response):
        # 解析页面中的视频信息
        for video in response.css('.video-item'):
            # 解析 UP 主名字、标题、播放量和评论信息
            title = video.css('.title::text').get()
            play_count = video.css('.play::text').get()
            author_name = video.css('.up-name::text').get()
            url = video.css('.title::attr(href)').get()
            comment_count = self.parse_comment_count(url)

            # 将数据存储到文件中
            yield {'author_name': author_name, 'title': title, 'play_count': play_count, 'comment_count': comment_count}

    def parse_comment_count(self, url):
        # 解析视频评论数量
        response = scrapy.Request(url)
        comment_count = response.css('.comment-count::text').get()
        return comment_count

在解析函数中，我们定义了一个 `parse_comment_count` 函数，用于解析视频的评论数量。在主函数中，我们使用 `yield` 关键字将数据存储到 CSV 文件中。

在命令行中执行 `scrapy crawl bilibili -o result.csv` 命令，即可将数据存储到名为 `result.csv` 的文件中。