scrapy 怎么获取图片
时间: 2024-05-25 19:18:44 浏览: 12
Scrapy可以通过以下步骤获取图片:
1. 在settings.py中启用ImagesPipeline:
```
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}
```
2. 配置存储图片的路径:
```
IMAGES_STORE = '/path/to/your/images'
```
3. 在Spider中使用Request请求图片链接:
```
import scrapy
from scrapy.pipelines.images import ImagesPipeline
class MySpider(scrapy.Spider):
name = 'myspider'
def start_requests(self):
urls = ['http://www.example.com/image1.jpg', 'http://www.example.com/image2.jpg']
for url in urls:
yield scrapy.Request(url, callback=self.parse_image)
def parse_image(self, response):
item = {}
item['image_urls'] = [response.url]
return item
```
4. 定义Item中的字段:
```
class MyItem(scrapy.Item):
image_urls = scrapy.Field()
images = scrapy.Field()
```
5. 在settings.py中配置图片缩略图:
```
IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
}
```
6. 运行Scrapy,图片将会被下载到指定路径中。
相关推荐
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)