使用scrapy爬取网站www.movie.douban/top250的电影名称
时间: 2023-06-24 14:04:10 浏览: 114
好的,以下是使用Scrapy爬取豆瓣电影Top250的电影名称的代码:
1. 首先,在命令行中创建一个Scrapy项目:
```
scrapy startproject douban_movies
```
2. 进入douban_movies项目,创建一个名为movies的Spider:
```
cd douban_movies
scrapy genspider movies movie.douban/top250
```
3. 在movies.py文件中,添加以下代码:
```python
import scrapy
class MoviesSpider(scrapy.Spider):
name = 'movies'
allowed_domains = ['movie.douban.com']
start_urls = ['https://movie.douban.com/top250']
def parse(self, response):
for movie in response.css('div.hd'):
yield {
'title': movie.css('span.title::text').get()
}
next_page = response.css('span.next > a::attr(href)').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
```
4. 运行Spider:
```
scrapy crawl movies -o movies.csv
```
此命令将在当前目录下创建一个movies.csv文件,并将电影名称写入该文件中。
阅读全文