用idea scala 编写一个sparksql读写csv文件的代码
时间: 2023-04-27 09:00:33 浏览: 404
基于scala语言编写的SparkSQL
以下是使用Idea Scala编写SparkSQL读写CSV文件的代码示例:
```scala
import org.apache.spark.sql.SparkSession
object CsvReaderWriter {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.appName("CsvReaderWriter")
.master("local[*]")
.getOrCreate()
// 读取CSV文件
val df = spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv("path/to/csv/file")
// 显示数据
df.show()
// 写入CSV文件
df.write
.option("header", "true")
.csv("path/to/output/csv/file")
spark.stop()
}
}
```
在这个示例中,我们首先创建了一个SparkSession对象,然后使用该对象读取CSV文件。我们使用了两个选项来指定CSV文件的头和数据类型。然后我们显示了读取的数据,并将其写入另一个CSV文件中。
请注意,您需要将“path/to/csv/file”和“path/to/output/csv/file”替换为实际的文件路径。
阅读全文