spark+mllib电影推荐使用

为了使用Spark MLlib进行电影推荐，需要先将电影数据和用户评分数据转换为RDD格式。可以使用以下代码读取电影数据和用户评分数据：

val moviesRdd = sc.textFile("/spark/ml-100k/u.item")
val dataRdd = sc.textFile("/spark/ml-100k/u.data")

接下来，需要将电影数据和用户评分数据转换为Rating对象，以便进行模型训练和预测。可以使用以下代码：

import org.apache.spark.mllib.recommendation.{ALS, Rating}

// 将电影数据转换为 (movieId, movieName) 的键值对
val movies = moviesRdd.map(line => line.split("\\|")).map(fields => (fields(0).toInt, fields(1))).collect.toMap

// 将用户评分数据转换为 Rating 对象
val ratings = dataRdd.map(line => line.split("\t")).map(fields => Rating(fields(0).toInt, fields(1).toInt, fields(2).toDouble))

接下来，可以使用ALS算法训练推荐模型，并使用该模型进行电影推荐。可以使用以下代码：

// 训练推荐模型
val rank = 10
val numIterations = 10
val model = ALS.train(ratings, rank, numIterations)

// 为用户推荐电影
val userId = 1
val topK = 10
val recommendedMovies = model.recommendProducts(userId, topK)

// 输出推荐结果
println(s"推荐给用户 $userId 的电影：")
recommendedMovies.foreach { rating =>
  val movieName = movies(rating.product)
 println(s"电影名称：$movieName，评分：${rating.rating}")
}

以上代码中，rank和numIterations分别表示ALS算法的隐因子个数和迭代次数。userId表示要为哪个用户进行推荐，topK表示要推荐多少部电影。推荐结果中，每部电影都有一个评分，表示该用户对该电影的兴趣程度。