hdfs创建目录 python脚本写

可以回答这个问题。在 Python 中，可以使用 Hadoop 的 HDFS 模块来创建目录。具体的代码实现可以参考以下示例：

from hdfs import InsecureClient

client = InsecureClient('http://localhost:50070', user='hadoop')

client.makedirs('/path/to/directory')

其中，`InsecureClient` 是 HDFS 模块中的一个类，用于连接到 HDFS。在创建对象时，需要指定 HDFS 的地址和用户名。`makedirs` 方法可以用于创建目录，其中的参数是目录的路径。

相关问题

HDFS文本读写 头歌

### HDFS 文本文件读写操作教程

#### 使用命令行工具进行文本文件的读写

对于简单的文本文件读写需求，可以直接通过 `hdfs dfs` 命令完成。例如，向 HDFS 中的一个特定位置上传一个本地文件：

hdfs dfs -put /path/to/local/file.txt /user/username/

这将会把本地 `/path/to/local/file.txt` 文件上传到 HDFS 的 `/user/username/` 路径下[^1]。

为了验证文件已成功上传并查看其内容，可使用 `-cat` 或者其他类似的命令来显示文件内容：

hdfs dfs -cat /user/username/file.txt

如果想要从 HDFS 下载文件至本地，则可以采用 `-get` 命令：

hdfs dfs -get /user/username/file.txt /local/path/

以上命令会将位于 HDFS 上 `/user/username/file.txt` 的文件下载到本地指定路径中[^4]。

#### 利用 Python 进行更复杂的交互

当面对更加复杂的应用场景时，Python 提供了一种灵活的方式来处理 HDFS 数据。下面给出的是基于 PyWebHDFS 库的例子，用于连接 WebHDFS 并执行基本的操作，如创建目录、上载和检索文件等。

首先安装必要的库:

pip install pywebhdfs

接着编写一段简单脚本来展示如何与 HDFS 互动：

from pywebhdfs.webhdfs import PyWebHDFSError, PyWebHDFSClient

client = PyWebHDFSClient(host='namenode_host', port='50070')

# 创建一个新的目录
try:
    client.make_dir('/user/mydir')
except PyWebHDFSError as e:
    print(e)

# 向新建的目录内添加文件
with open('example_file.txt', 'rb') as file_data:
    try:
        client.create_file('/user/mydir/example_file.txt', file_data.read())
    except PyWebHDFSError as e:
        print(e)

# 获取文件内容
try:
    response = client.read_file('/user/mydir/example_file.txt')
    content = ''.join([str(x) for x in list(response)])
    print(content)
except PyWebHDFSError as e:
    print(e)

上述代码片段展示了怎样借助 Python 实现对 HDFS 更加高级别的控制，包括但不限于创建目录、上传以及获取文件等内容[^5]。

我想写一个关于hdfs数据清理的脚本。逻辑是判断某个路径下90天以前的数据进行上传至华为云obs桶，然后再删除等等脚本

为了编写一个HDFS（Hadoop Distributed File System）数据清理脚本，你需要使用HDFS客户端库以及华为云 OBS (Object Storage Service) 的 Python SDK。以下是一个基础的步骤概述：

1. **安装必要的库**：
- `hadoop` 或 `hdfs3` 库用于与 HDFS 交互。
- `huaweicloud-sdk-obs` 库用于与 OBS 进行操作。

pip install hdfs3
pip install huaweicloud-sdk-obs

2. **设置环境变量**：
- 如果使用的是 HDFS，确保 `JAVA_HOME` 和 `HADOOP_HOME` 已设置。
- 对于华为云 OBS，可能需要创建访问密钥并将其存储为环境变量或配置文件。

3. **连接到HDFS**：
使用 `hdfs3`，你可以创建一个连接到 HDFS 的客户端。

from hdfs3 import HDFileSystem

hdfs = HDFileSystem(host='your_hdfs_host', port=webhdfs_port, user='your_username')

4. **获取目录内容**：
获取指定路径下的文件列表，包括它们的修改时间。

dir_path = '/path/to/your/data'
files = hdfs.ls(dir_path)
file_list = {f: hdfs.get_file_info(f)['modification_time'] for f in files}

5. **过滤旧文件**：
根据日期选择90天前的文件。

import datetime

old_files = [f for f, mod_time in file_list.items() if (datetime.datetime.now() - mod_time).days >= 90]

6. **上传文件到OBS**：
使用 `huaweicloud-sdk-obs` 将文件上传到 OBS 桶。

from huaweicloudsdkobs.v5.obs_client import ObsClient
from huaweicloudsdkobs.v5.model import UploadFileRequest

obs_client = ObsClient(
    endpoint="your_observatory_endpoint",
    access_key_id="your_access_key_id",
    secret_access_key="your_secret_access_key",
)

bucket_name = 'your_bucket_name'
for old_file in old_files:
    with open(hdfs.path(old_file), "rb") as data:
        req = UploadFileRequest(bucket_name=bucket_name, object_name=old_file, content=data.read())
        obs_client.upload_file(req)

7. **删除HDFS中的旧文件**：
删除已上传到 OBS 的文件。

for old_file in old_files:
    hdfs.remove(old_file)

8. **处理异常**：
考虑到可能出现的网络错误、权限问题等，确保适当添加异常处理代码。

9. **执行周期性任务**：
可能还需要安排这个脚本作为一个定期任务运行，例如通过 cronjob 或者其他调度工具。