头歌dataframe创建scala
时间: 2023-05-02 10:02:41 浏览: 300
问题:如何用Scala创建一个头歌数据框?
回答:使用Scala语言,我们可以使用Spark SQL中的DataFrame API创建头歌数据框。具体实现步骤如下:
1.导入Spark SQL包:
import org.apache.spark.sql._
2.创建SparkSession对象:
val spark = SparkSession.builder().
appName("create DataFrame by Scala").
master("local").
getOrCreate()
3.准备数据:
val data = Seq(("Tom",23),("Jerry",25),("Mike",20),("Tom",28),("Jerry",21),("Mike",19))
4.将数据转化为RDD(弹性分布式数据集):
val rdd = spark.sparkContext.parallelize(data)
5.定义表结构:
val schema = StructType(
Array(
StructField("name", StringType, true),
StructField("age", IntegerType, true)
)
)
6.将RDD映射到schema:
val rowRDD = rdd.map(s => Row(s._1, s._2))
7.用SparkSession创建DataFrame:
val df = spark.createDataFrame(rowRDD, schema)
至此,我们已经用Scala创建了一个头歌数据框。