Python根据URL地址下载文件并保存至对应目录的实现_python根据url地址下载文件并保存至对应目录的实现 - CSDN文库

195 浏览量更新于2023-03-03 收藏 66KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

Python根据根据URL地址下载文件并保存至对应目录的实现地址下载文件并保存至对应目录的实现

引言引言

在编程中经常会遇到图片等数据集将图片等数据以URL形式存储在txt文档中，为便于后续的分析，需要将其下载下来，并按

照文件夹分类存储。本文以Github中Alexander Kim提供的图片分类数据集为例，下载其提供的图片样本并分类保存

Python 3.6.5，Anaconda， VSCode

1. 下载数据集文件下载数据集文件

建立项目文件夹，下载上述Github项目中的raw_data文件夹，并保存至项目目录中。

2. 获取样本文件位置获取样本文件位置

编写get_doc_path.py，根据根目录位置，获取目录及其子目录所有数据集文件

import os

def get_file(root_path, all_files={}):

'''

递归函数，遍历该文档目录和子目录下的所有文件，获取其path

'''

files = os.listdir(root_path)

for file in files:

if not os.path.isdir(root_path + '/' + file): # not a dir

all_files[file] = root_path + '/' + file

else: # is a dir

get_file((root_path+'/'+file), all_files)

return all_files

if __name__ == '__main__':

path = './raw_data'

print(get_file(path))

3. 下载文件下载文件

3.1 读取url列表并

for filename, path in paths.items():

print('reading file: {}'.format(filename))

with open(path, 'r') as f:

lines = f.readlines()

url_list = [] for line in lines:

url_list.append(line.strip('\n'))

print(url_list)

3.2 创建文件夹

foldername = "./picture_get_by_url/pic_download/{}".format(filename.split('.')[0])

if not os.path.exists(folder_path):

print("Selected folder not exist, try to create it.")

os.makedirs(folder_path)

3.3 下载图片

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

weixin_38641764

粉丝: 3
资源: 921

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈