怎么上传文件到HDFS
时间: 2023-09-01 09:08:48 浏览: 142
Talend学习笔记1—本地文件上传HDFS
3星 · 编辑精心推荐
要将文件上传到HDFS中,可以使用Python中的hdfs库来连接和操作HDFS文件系统。以下是一个使用hdfs库实现文件上传的示例代码:
```python
from hdfs import InsecureClient
# 创建一个连接到Hadoop集群的客户端
client = InsecureClient('http://hadoop-master:50070', user='hdfs')
# 上传文件到HDFS
client.upload('/test_folder', 'local_file.txt')
```
在上面的代码中,我们首先创建了一个连接到Hadoop集群的客户端。然后,我们使用client对象的upload()方法将本地文件local_file.txt上传到HDFS中的/test_folder目录。如果/test_folder目录不存在,则会自动创建该目录。
阅读全文