cls.params["folderId"] = folder_id res = requests.get(url=cls.url, params=cls.params) js_data = json.loads(res.text)["data"] js_data_folders: list[dict] = js_data["FoldersInfo"] js_data_files: list[dict] = js_data["FilesInfo"] df = pd.concat([df, pd.DataFrame(js_data_files)], axis=0) ft = pd.concat([ft, pd.DataFrame(js_data_folders)], axis=0) folders_to_process = js_data_folders.copy() while folders_to_process: folder_id = folders_to_process.pop(0)["FolderId"] cls.params["folderId"] = folder_id res = requests.get(url=cls.url, params=cls.params) js_data = json.loads(res.text)["data"] js_data_folders: list[dict] = js_data["FoldersInfo"] js_data_files: list[dict] = js_data["FilesInfo"] df = pd.concat([df, pd.DataFrame(js_data_files)], axis=0) ft = pd.concat([ft, pd.DataFrame(js_data_folders)], axis=0) folders_to_process.extend(js_data_folders) return df, ft 优化这段代码
时间: 2024-03-13 08:42:45 浏览: 62
这段代码已经进行了一些优化,但是还有一些可以改进的地方:
1. 需要确保请求返回的数据格式和结构是正确的,否则可能会导致代码出错。可以添加一些异常处理机制,例如使用 try-except 捕获异常并记录错误日志。
2. 对于返回的数据,可以使用 data.get("FoldersInfo", []) 和 data.get("FilesInfo", []) 来获取需要的信息,这样可以避免出现 Key Error 的问题。
3. 可以使用列表推导式来简化代码,例如使用 [x["FolderId"] for x in js_data_folders] 来获取所有文件夹的 ID。
下面是一个可能的优化方案:
```python
def get_all_file_info(cls, folder_id, df, ft):
"""
获取指定文件夹及其子文件夹中的所有文件和文件夹信息
:param cls: 类实例
:param folder_id: 文件夹 ID
:param df: 文件信息 DataFrame
:param ft: 文件夹信息 DataFrame
:return: 文件信息 DataFrame 和文件夹信息 DataFrame
"""
try:
cls.params["folderId"] = folder_id
res = requests.get(url=cls.url, params=cls.params)
res.raise_for_status()
data = json.loads(res.text)["data"]
except (requests.HTTPError, ValueError) as e:
logging.error(f"Failed to get file info for folder {folder_id}: {e}")
return df, ft
js_data_folders = data.get("FoldersInfo", [])
js_data_files = data.get("FilesInfo", [])
df = pd.concat([df, pd.DataFrame(js_data_files)], axis=0)
ft = pd.concat([ft, pd.DataFrame(js_data_folders)], axis=0)
folders_to_process = [x["FolderId"] for x in js_data_folders]
while folders_to_process:
folder_id = folders_to_process.pop(0)
try:
cls.params["folderId"] = folder_id
res = requests.get(url=cls.url, params=cls.params)
res.raise_for_status()
data = json.loads(res.text)["data"]
except (requests.HTTPError, ValueError) as e:
logging.error(f"Failed to get file info for folder {folder_id}: {e}")
continue
js_data_folders = data.get("FoldersInfo", [])
js_data_files = data.get("FilesInfo", [])
df = pd.concat([df, pd.DataFrame(js_data_files)], axis=0)
ft = pd.concat([ft, pd.DataFrame(js_data_folders)], axis=0)
folders_to_process.extend([x["FolderId"] for x in js_data_folders])
return df, ft
```
这个优化方案添加了异常处理机制,使用了 data.get() 方法来获取需要的信息,并使用了列表推导式来获取所有文件夹的 ID。如果请求出错,会记录错误日志并跳过当前文件夹的处理。
阅读全文