在jupyter notebook使用HDFS数据读取

在 Jupyter Notebook 中使用 HDFS 数据读取，可以通过 PyArrow 库实现。以下是一个简单的示例代码，可以将 HDFS 上的数据读取到本地内存中：

import pyarrow as pa
import pyarrow.fs as fs

# 创建 Hadoop 文件系统对象
hdfs = fs.HadoopFileSystem(host='your_host', port=your_port, user='your_user')

# 读取 HDFS 上的文件
with hdfs.open('path/to/hdfs/file') as f:
    table = pa.ipc.open_stream(f).read_all()

# 打印读取结果
print(table)

在这个示例中，我们首先通过 `fs.HadoopFileSystem()` 创建了一个 Hadoop 文件系统对象。在 `open()` 方法中指定要读取的 HDFS 文件路径，然后使用 `pa.ipc.open_stream(f).read_all()` 方法读取数据流，并将其转换为 PyArrow 表格对象。

注意，使用该方法需要先安装并配置好 PyArrow 库和 Hadoop 环境。