spark导入本地文件

Apache Spark是一个用于大规模数据处理的开源框架，它可以高效地进行数据处理和分析。在Spark中，导入本地文件通常涉及将文件加载到DataFrame或RDD（Resilient Distributed Dataset，弹性分布式数据集）中，这是Spark的主要数据结构。

1. 导入CSV或文本文件：
使用`SparkSession`的`read`方法，你可以轻松读取CSV或文本文件。例如，如果你的文件名为`file.csv`，代码会是这样的：

val spark = SparkSession.builder.appName("LocalFileRead").getOrCreate()
val df = spark.read.format("csv")
  .option("header", "true") // 如果第一行包含列名
  .option("inferSchema", "true") // 自动推断列类型
  .load("/path/to/your/local/file.csv")

2. 导入JSON文件：
对于JSON文件，使用`json`格式：

val df = spark.read.json("/path/to/your/local/file.json")

3. 导入二进制文件：
二进制文件可以直接使用`binary`或`binaryStream`格式：

val df = spark.read.binary("/path/to/your/local/file.bin")