Databricks里使用Python notebook，如何将本地文件上传到dbfs

您可以使用以下代码将本地文件上传到Databricks File System (DBFS)：

# 导入需要的模块
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.appName("upload_to_dbfs").getOrCreate()

# 读取本地文件
local_file_path = "/path/to/local/file"
with open(local_file_path, "rb") as f:
    file_content = f.read()

# 指定上传到的DBFS路径
dbfs_file_path = "/mnt/my_bucket/my_file"

# 将文件写入DBFS
dbutils.fs.put(dbfs_file_path, file_content, True)

其中，`local_file_path`是本地文件的路径，`dbfs_file_path`是要上传到的DBFS路径。`dbutils.fs.put`方法用于将文件内容写入指定路径。第三个参数`True`表示覆盖已存在的文件（如果有的话）。

如果要上传的文件比较大，您可以将其分割成多个部分并使用`dbutils.fs.put`方法的`blocksize`参数来控制块的大小。例如：

# 指定块大小为1 MB
block_size = 1024 * 1024

# 读取本地文件
local_file_path = "/path/to/local/file"
with open(local_file_path, "rb") as f:
    while True:
        # 读取一个块的数据
        block = f.read(block_size)
        if not block:
            break

        # 计算块的索引
        block_index = int(f.tell() / block_size)

        # 指定上传到的DBFS路径
        dbfs_file_path = f"/mnt/my_bucket/my_file_{block_index}"

        # 将块写入DBFS
        dbutils.fs.put(dbfs_file_path, block, True, blocksize=block_size)

在这个例子中，我们将文件分割成大小为1 MB的块，并将每个块上传到以`my_file`为前缀，加上块的索引号作为后缀的文件。`f.tell()`方法返回当前文件指针的位置，因此可以用来计算块的索引。`blocksize`参数用于指定块的大小。