使用Python访问hdfs

在Python中访问HDFS（Hadoop Distributed File System），通常需要借助一些第三方库，如PyHDFS、hdfs3或者hdfs等，这些库允许你在本地Python环境中方便地读写Hadoop集群上的文件。以下是简单的步骤：

1. 安装所需库：首先安装`pyarrow`和对应的HDFS客户端库，例如`hdfs3`（如果你的系统中还没有这些库，可以使用pip安装：`pip install pyarrow hdfs3` 或者 `pip install hdfs`，取决于你的需求）。

2. 配置连接：创建HDFS连接时，通常需要提供Hadoop集群的相关信息，如地址、端口（默认是9000）、用户名（如果使用kerberos认证）。示例代码如下：

from hdfs3 import HDFileSystem

# 使用默认配置
hdfs = HDFileSystem(host='your_hdfs_host', port=9000)

# 或者使用更具体的配置
hdfs = HDFileSystem(host='your_hdfs_host',
                    port=9000,
                    user='your_username',
                    use_ssl=True) # 如果HDFS使用SSL

3. 访问文件：有了连接后，你可以像操作本地文件系统一样操作HDFS中的文件。例如读取文件：

with hdfs.open('/path/to/your/file.txt') as f:
    file_content = f.read()

4. 写入文件：

data = '这是你要写入HDFS的内容'
hdfs.makedirs('/output/directory', create_parents=True)
with hdfs.open('/output/directory/output_file.txt', 'w') as f:
    f.write(data)