spark rdd 两个列的值进行拼接

可以使用map函数将每一行的两个值拼接起来，如下所示：

val rdd = sc.parallelize(Seq(("a", 1), ("b", 2), ("c", 3)))
val result = rdd.map{ case (col1, col2) => col1 + ":" + col2 }

这会返回一个新的RDD，其中每一行的值都被拼接成了字符串。

相关问题

spark rdd中一列数据由浮点数转换成整数

在 Spark RDD 中使用 map 函数结合 scala.math 库中提供的 round 函数可以将浮点数转换成整数。例如，将 RDD 中的一列浮点数转换成整数：

val rdd = sc.parallelize(Seq(2.3456, 3.14159, 1.234567))
val intRdd = rdd.map(num => scala.math.round(num).toInt)

其中，map 函数将每个浮点数使用 round 函数四舍五入取整，并使用 toInt 函数将结果转换成整数类型。

两个RDD如何spark join 的Scala代码

可以使用Spark中的join函数来实现RDD的join操作，具体的Scala代码如下所示：

val rdd1 = sc.parallelize(Seq(("key1", 1), ("key2", 2), ("key3", 3)))
val rdd2 = sc.parallelize(Seq(("key1", "value1"), ("key2", "value2"), ("key3", "value3")))

val joinedRdd = rdd1.join(rdd2)
joinedRdd.foreach(println)

上述代码中，我们先定义了两个RDD rdd1 和 rdd2，然后使用join函数将它们进行join操作，最后通过foreach函数输出join后的结果。其中，join函数的参数为另一个RDD，表示要将两个RDD中相同key的数据进行join操作。