我想写一个关于hdfs数据清理的脚本。逻辑是判断某个路径下90天以前的数据进行上传至华为云obs桶，然后再删除等等脚本

为了编写一个HDFS（Hadoop Distributed File System）数据清理脚本，你需要使用HDFS客户端库以及华为云 OBS (Object Storage Service) 的 Python SDK。以下是一个基础的步骤概述：

1. **安装必要的库**：
- `hadoop` 或 `hdfs3` 库用于与 HDFS 交互。
- `huaweicloud-sdk-obs` 库用于与 OBS 进行操作。

pip install hdfs3
pip install huaweicloud-sdk-obs

2. **设置环境变量**：
- 如果使用的是 HDFS，确保 `JAVA_HOME` 和 `HADOOP_HOME` 已设置。
- 对于华为云 OBS，可能需要创建访问密钥并将其存储为环境变量或配置文件。

3. **连接到HDFS**：
使用 `hdfs3`，你可以创建一个连接到 HDFS 的客户端。

from hdfs3 import HDFileSystem

hdfs = HDFileSystem(host='your_hdfs_host', port=webhdfs_port, user='your_username')

4. **获取目录内容**：
获取指定路径下的文件列表，包括它们的修改时间。

dir_path = '/path/to/your/data'
files = hdfs.ls(dir_path)
file_list = {f: hdfs.get_file_info(f)['modification_time'] for f in files}

5. **过滤旧文件**：
根据日期选择90天前的文件。

import datetime

old_files = [f for f, mod_time in file_list.items() if (datetime.datetime.now() - mod_time).days >= 90]

6. **上传文件到OBS**：
使用 `huaweicloud-sdk-obs` 将文件上传到 OBS 桶。

from huaweicloudsdkobs.v5.obs_client import ObsClient
from huaweicloudsdkobs.v5.model import UploadFileRequest

obs_client = ObsClient(
    endpoint="your_observatory_endpoint",
    access_key_id="your_access_key_id",
    secret_access_key="your_secret_access_key",
)

bucket_name = 'your_bucket_name'
for old_file in old_files:
    with open(hdfs.path(old_file), "rb") as data:
        req = UploadFileRequest(bucket_name=bucket_name, object_name=old_file, content=data.read())
        obs_client.upload_file(req)

7. **删除HDFS中的旧文件**：
删除已上传到 OBS 的文件。

for old_file in old_files:
    hdfs.remove(old_file)

8. **处理异常**：
考虑到可能出现的网络错误、权限问题等，确保适当添加异常处理代码。

9. **执行周期性任务**：
可能还需要安排这个脚本作为一个定期任务运行，例如通过 cronjob 或者其他调度工具。