spark 余弦相似度

Spark中可以使用MLlib库中的CosineSimilarity计算余弦相似度。具体步骤如下：

1. 将需要计算相似度的数据转化为RDD。
2. 构建一个SparseVector数组，每个元素代表一个向量的一个特征值。
3. 将SparseVector数组转化为一个稠密向量DenseVector。
4. 使用DenseVector计算余弦相似度。

具体实现可以参考以下代码：

import org.apache.spark.mllib.linalg.{SparseVector, DenseVector}
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.mllib.feature.{Normalizer, StandardScaler}
import org.apache.spark.mllib.stat.Statistics

val data = sc.textFile("data.txt").map(line => {
  val values = line.split(',').map(_.toDouble)
  new SparseVector(values.length, values.zipWithIndex.filter(_._1 != 0).map(_.swap))
})

val mat = new RowMatrix(data)
val colStats = mat.computeColumnSummaryStatistics()

val scaler = new StandardScaler(withMean = true, withStd = true).fit(mat.rows)
val scaledData = mat.rows.map(x => scaler.transform(x))

val normalizer = new Normalizer()
val normalizedData = normalizer.transform(scaledData)

val similarities = Statistics.corr(normalizedData, method = "cosine")

以上代码中，我们首先读取了一个文本文件，每行代表一个向量。我们将这些向量转化为SparseVector数组，然后转化为一个RowMatrix。接着，我们使用StandardScaler和Normalizer对数据进行标准化和归一化处理。最后，我们使用Statistics.corr方法计算余弦相似度。