idea基于spark协同过滤推荐

在IDEA中基于Spark实现协同过滤推荐，可以按照以下步骤进行：

1. 导入Spark相关依赖和数据集

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Collaborative Filtering Example")
  .getOrCreate()

val ratings = spark.read.format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("ratings.csv")
  .drop("timestamp")

其中，`ratings.csv`是包含用户评分数据的文件，每行包括`userId`、`movieId`和`rating`三列，用逗号分隔。

2. 划分训练集和测试集

import org.apache.spark.ml.recommendation.{ALS, ALSModel}
import org.apache.spark.ml.evaluation.RegressionEvaluator

val Array(training, test) = ratings.randomSplit(Array(0.8, 0.2))

将数据集划分为训练集和测试集，其中80%用于训练，20%用于测试。

3. 训练模型

val als = new ALS()
  .setMaxIter(5)
  .setRegParam(0.01)
  .setUserCol("userId")
  .setItemCol("movieId")
  .setRatingCol("rating")
val model = als.fit(training)

使用ALS算法训练模型，其中`setMaxIter`设置迭代次数，`setRegParam`设置正则化参数，`setUserCol`、`setItemCol`和`setRatingCol`分别设置用户ID、物品ID和评分列名。

4. 预测评分

val predictions = model.transform(test)

val evaluator = new RegressionEvaluator()
  .setMetricName("rmse")
  .setLabelCol("rating")
  .setPredictionCol("prediction")
val rmse = evaluator.evaluate(predictions)
println(s"Root-mean-square error = $rmse")

将测试集输入模型进行预测，并使用RMSE指标评估预测效果。

5. 使用模型进行推荐

val userRecs = model.recommendForAllUsers(10)
val movieRecs = model.recommendForAllItems(10)

使用训练好的模型生成用户和物品的推荐结果，其中`recommendForAllUsers`和`recommendForAllItems`分别表示为所有用户和所有物品生成推荐结果，数字10表示每个用户或物品生成的推荐数目。

以上就是基于Spark实现协同过滤推荐的一个简单示例。