spark Scala中合并两个文件，计算每部电影的平均得分是多少 Ratings.csv文件 文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下： userId, movieId, rating, timestamp userId: 每个用户的id movieId: 每部电影的id rating: 用户评分，是5星制 timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数 movies.csv文件 movieId: 每部电影的Id title：每部电影的名字

可以使用Spark的DataFrame API来实现这个功能。首先，我们需要读取两个文件并将它们转换成DataFrame格式：

val ratings = spark.read.format("csv")
    .option("header", "true")
    .load("path/to/ratings.csv")

val movies = spark.read.format("csv")
    .option("header", "true")
    .load("path/to/movies.csv")

接下来，我们需要将两个DataFrame进行合并，可以使用`join`操作：

val joined = ratings.join(movies, Seq("movieId"), "left")

这里使用`Seq("movieId")`作为`join`的连接键，表示按照`movieId`这个列进行合并。`"left"`表示使用左连接，即保留`ratings`中的所有记录。

最后，我们可以使用`groupBy`和`agg`操作来计算每部电影的平均得分：

val result = joined.groupBy("movieId", "title")
    .agg(avg("rating").as("avg_rating"))
    .sort(desc("avg_rating"))

这里使用`groupBy`按照`movieId`和`title`进行分组，然后使用`agg`计算每组的平均得分，并将结果保存在名为`avg_rating`的新列中。最后使用`sort`按照平均得分降序排序。

完整代码如下：

import org.apache.spark.sql.functions._

val ratings = spark.read.format("csv")
    .option("header", "true")
    .load("path/to/ratings.csv")

val movies = spark.read.format("csv")
    .option("header", "true")
    .load("path/to/movies.csv")

val joined = ratings.join(movies, Seq("movieId"), "left")

val result = joined.groupBy("movieId", "title")
    .agg(avg("rating").as("avg_rating"))
    .sort(desc("avg_rating"))

result.show()