python 使用 hdfs.client.InsecureClient()遍历hdfs文件路径
时间: 2024-03-09 08:46:26 浏览: 166
HDFS文件的查看
你可以使用以下代码来遍历HDFS文件路径:
```python
from hdfs.client import InsecureClient
client = InsecureClient('http://<namenode-host>:<port>', user='<username>')
# 遍历目录下所有文件
for f in client.walk('<path>'):
print(f)
```
其中,`<namenode-host>` 是你的Hadoop Namenode主机名或IP地址,`<port>` 是你的Hadoop Namenode的Web UI端口号,`<username>` 是你的Hadoop用户名,`<path>` 是你要遍历的HDFS目录路径。
`client.walk()` 方法会返回一个生成器,每次遍历到一个文件或目录时,都会返回一个元组,包含当前文件或目录的路径、文件名列表和目录名列表。你可以根据需要进一步处理这些信息。
阅读全文