python利用scrapy框架爬取豆瓣电影示例

使用Python的Scrapy框架可以非常方便地爬取豆瓣电影的数据。下面是一个简单示例：

首先，我们需要创建一个新的Scrapy项目。在命令行中执行以下命令：

scrapy startproject douban_movies

接下来，进入项目目录：

cd douban_movies

然后，我们可以创建一个名为`movies`的Spider来定义我们想要爬取的网页和处理数据的逻辑。在项目目录下执行以下命令：

scrapy genspider movies movie.douban.com

这会在`spiders`目录下生成一个名为`movies.py`的文件。我们可以在这个文件中编写爬虫代码。

首先，我们需要定义要爬取的网址，在`start_urls`中添加豆瓣电影的首页地址：

start_urls = ['https://movie.douban.com/']

然后，我们需要定义如何解析网页和提取数据。我们可以使用XPath或CSS选择器来定位需要的数据。这里以使用XPath为例：

def parse(self, response):
    # 提取电影名字
    movie_names = response.xpath('//div[@class="hd"]/a/span/text()').extract()
    for name in movie_names:
        print(name)

    # 提取评分
    scores = response.xpath('//span[@class="rating_num"]/text()').extract()
    for score in scores:
        print(score)

在上面的代码中，我们使用XPath选择器来提取电影的名字和评分，并打印出来。你可以根据需要修改这部分代码，比如将数据保存到数据库或文件中。

最后，在命令行中执行以下命令来运行爬虫：

scrapy crawl movies

以上就是使用Python的Scrapy框架爬取豆瓣电影的简单示例。你可以根据自己的需求进一步扩展和优化这个爬虫，比如添加翻页功能或处理更复杂的网页结构。