sparkmllib中如何将DataFrame中的数据转换为稠密向量

在Spark MLlib中，可以使用Vectors.dense()方法将DataFrame中的数据转换为稠密向量。该方法接受一个数组作为参数，其中包含要转换为向量的数值。例如，以下代码将DataFrame中的“features”列转换为稠密向量：

import org.apache.spark.ml.linalg.Vectors

val data = Seq(
  (0, Vectors.dense(1.0, 2.0, 3.0)),
  (1, Vectors.dense(4.0, 5.0, 6.0)),
  (2, Vectors.dense(7.0, 8.0, 9.0))
).toDF("id", "features")

data.show()

// +---+-------------+
// | id|     features|
// +---+-------------+
// |  0|[1.0,2.0,3.0]|
// |  1|[4.0,5.0,6.0]|
// |  2|[7.0,8.0,9.0]|
// +---+-------------+

val denseData = data.select("id", "features")
  .rdd
  .map { case Row(id: Long, features: Vector) => (id, Vectors.dense(features.toArray)) }
  .toDF("id", "denseFeatures")

denseData.show()

// +---+-------------------+
// | id|      denseFeatures|
// +---+-------------------+
// |  0|  [1.0,2.0,3.0]     |
// |  1|  [4.0,5.0,6.0]     |
// |  2|  [7.0,8.0,9.0]     |
// +---+-------------------+