python的scrapy shell代码演示
时间: 2024-02-05 16:04:04 浏览: 25
下面是一个scrapy shell的代码演示:
1. 安装scrapy库:在命令行中输入`pip install scrapy`,等待安装完成。
2. 在命令行中输入`scrapy shell`,进入scrapy shell环境。
3. 输入以下代码,爬取百度首页的标题:
```
>>> fetch("http://www.baidu.com")
>>> response.xpath('//title/text()').get()
'百度一下,你就知道'
```
4. 输入以下代码,爬取豆瓣电影Top250的电影名称:
```
>>> fetch("https://movie.douban.com/top250")
>>> response.xpath('//div[@class="hd"]/a/span[@class="title"]/text()')
[<Selector xpath='//div[@class="hd"]/a/span[@class="title"]/text()' data='肖申克的救赎'>,
<Selector xpath='//div[@class="hd"]/a/span[@class="title"]/text()' data='霸王别姬'>,
<Selector xpath='//div[@class="hd"]/a/span[@class="title"]/text()' data='阿甘正传'>,
......
<Selector xpath='//div[@class="hd"]/a/span[@class="title"]/text()' data='罗马假日'>]
```
以上就是一个简单的scrapy shell代码演示,可以通过scrapy shell环境对网站数据进行快速的爬取和测试。