python爬虫爬取淘宝网页数据并把图片保存在本地文件D盘中的Python代码
时间: 2024-03-02 17:49:32 浏览: 75
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
好的,下面是一个简单的 Python 爬虫示例,可以爬取淘宝网页数据并将图片保存在本地文件 D 盘中:
```python
import requests
import re
import os
# 定义要爬取的淘宝页面链接
url = 'https://s.taobao.com/search?q=%E6%89%8B%E6%9C%BA'
# 发送请求
response = requests.get(url)
# 使用正则表达式提取页面中所有图片的链接
img_urls = re.findall('"pic_url":"(.*?)"', response.text)
# 定义保存图片的文件夹路径
folder_path = 'D:/taobao_imgs/'
# 判断文件夹是否存在,不存在则创建
if not os.path.exists(folder_path):
os.makedirs(folder_path)
# 遍历所有图片链接,下载并保存图片
for img_url in img_urls:
img_name = img_url.split('/')[-1]
img_path = folder_path + img_name
if not os.path.exists(img_path):
img_data = requests.get(img_url).content
with open(img_path, 'wb') as f:
f.write(img_data)
print('图片保存成功:', img_path)
else:
print('图片已存在:', img_path)
```
以上代码中,我们使用了 requests 库来向淘宝发送 HTTP 请求,并使用正则表达式提取页面中所有图片的链接。然后,我们遍历所有图片链接,使用 requests 库下载图片,并保存到本地文件夹中。
阅读全文