python 框架爬取图片
时间: 2023-11-05 17:01:44 浏览: 42
以下是使用Python框架Scrapy爬取图片的示例代码:
1. 安装Scrapy:使用pip install scrapy命令进行安装
2. 创建一个新的Scrapy项目:使用scrapy startproject命令创建一个新的Scrapy项目。
3. 创建一个新的Spider:使用scrapy genspider命令创建一个新的Spider并指定要爬取的网站。
4. 编写Spider代码:在Spider中编写代码来爬取图像并将其保存到本地文件夹中。
```python
import scrapy
class ImagesSpider(scrapy.Spider):
name = 'images'
allowed_domains = ['example.com']
start_urls = ['http://example.com/']
def parse(self, response):
for img in response.css('img'):
img_url = img.xpath('@src').get()
yield scrapy.Request(img_url, self.save_image)
def save_image(self, response):
with open(response.url.split('/')[-1], 'wb') as f:
f.write(response.body)
```
5. 运行Spider:使用scrapy crawl命令运行Spider。
注意:请确保您有权访问和使用要爬取的网站上的图像。此外,请谨慎使用图像爬取,以遵守法律法规和网站的使用条款。