如何将jupyter notebook中的文件上传到hdfs

要将Jupyter Notebook中的文件上传到HDFS，需要先安装Hadoop和PySpark，并配置好环境变量。然后可以使用PySpark的Hadoop File System（HDFS）API来实现文件上传。

以下是一个示例代码，演示如何将本地文件上传到HDFS：

from pyspark.sql import SparkSession
import os

# 创建SparkSession
spark = SparkSession.builder \
    .appName("Upload to HDFS") \
    .getOrCreate()

# 指定本地文件路径和HDFS路径
local_file = "/path/to/local/file"
hdfs_file = "/path/to/hdfs/file"

# 使用Hadoop File System（HDFS）API上传文件
fs = spark.sparkContext._jvm.org.apache.hadoop.fs.FileSystem.get(spark.sparkContext._gateway.jvm.java.net.URI("hdfs://localhost:9000"), spark.sparkContext._jsc.hadoopConfiguration())
input_stream = spark.sparkContext._gateway.jvm.java.io.FileInputStream(os.path.abspath(local_file))
output_stream = fs.create(spark.sparkContext._gateway.jvm.org.apache.hadoop.fs.Path(hdfs_file))
org.apache.hadoop.io.IOUtils.copyBytes(input_stream, output_stream, spark.sparkContext._jsc.hadoopConfiguration(), True)

在这个示例中，我们使用`pyspark.sql.SparkSession`创建一个SparkSession对象，然后使用Hadoop File System（HDFS）API上传文件。请注意，这个示例中使用的是本地模式的Hadoop和Spark，如果你正在使用分布式环境，则需要修改代码中的URI和配置。

另外，还可以使用hdfs3或pyarrow等第三方Python库来完成文件上传操作，这些库提供了更加简单易用的API。