spark上传csv文件
时间: 2023-07-05 15:36:36 浏览: 208
你可以使用Spark的API来读取CSV文件并将其加载到Spark DataFrame中。以下是一个示例代码:
```
import org.apache.spark.sql.SparkSession
object CsvReader {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("CsvReader")
.master("local[*]") // 这里使用本地模式,也可以使用其他模式
.getOrCreate()
val csvFilePath = "/path/to/csv/file.csv"
val df = spark.read
.format("csv")
.option("header", "true") // 是否包含表头
.option("inferSchema", "true") // 是否自动推断数据类型
.load(csvFilePath)
df.show()
}
}
```
在这个示例代码中,我们使用`SparkSession`来创建一个Spark应用程序。然后,我们指定了CSV文件的路径`csvFilePath`。接下来,我们使用`spark.read`来读取CSV文件,并指定使用`csv`格式。我们还可以使用`option`方法来设置读取CSV文件的选项,例如是否包含表头以及是否自动推断数据类型。最后,我们将读取到的数据加载到Spark DataFrame中,并使用`show`方法来显示DataFrame的内容。
你可以将上述示例代码保存到一个文件中,例如`CsvReader.scala`,然后使用`sbt`或者`maven`等构建工具来编译和运行应用程序。记得将`/path/to/csv/file.csv`替换为你实际的CSV文件路径。
阅读全文