DataFrame 创建(Scala)
时间: 2023-06-17 07:08:00 浏览: 184
在 Scala 中,我们可以使用 Spark SQL 中的 DataFrame API 来创建 DataFrame。
下面是一个简单的例子,创建一个包含两个字段的 DataFrame:
```scala
import org.apache.spark.sql.{DataFrame, SparkSession}
val spark = SparkSession.builder()
.appName("Creating DataFrame")
.master("local[*]")
.getOrCreate()
val data = Seq(
("Alice", 25),
("Bob", 30),
("Charlie", 35)
)
val columns = Seq("name", "age")
val df: DataFrame = spark.createDataFrame(data).toDF(columns: _*)
df.show()
```
首先,我们创建了一个 SparkSession 对象。然后,我们定义了一些数据和列名,并使用 `spark.createDataFrame()` 方法将数据转换为 DataFrame。最后,我们使用 `toDF()` 方法将列名添加到 DataFrame 中,并使用 `show()` 方法显示 DataFrame 的内容。
输出如下:
```
+-------+---+
| name|age|
+-------+---+
| Alice| 25|
| Bob| 30|
|Charlie| 35|
+-------+---+
```
除了使用 `createDataFrame()` 方法,我们还可以从其他数据源中创建 DataFrame,如 CSV 文件、数据库表等。具体方法可以参考 Spark SQL 文档。
阅读全文
相关推荐

















