西瓜数据集（watermelon.txt）各个特征的含义如下： 数据集的每一行由3个数值组成，前2个数字用\t分隔，后2个数字用空格分隔。 对于数据集文件watermelon.txt，请编写MapReduce程序，同时采用密度和含糖率数据作为特征，设类别数为2，利用 K-Means 聚类方法通过多次迭代对数据进行聚类。不使用第三方库，选取合适的Spark RDD转换算子和行动算子实现Kmeans算法，完成实验内容； 5. 基于Spark MLlib，实现Kmeans聚类计算，利用idea写出完整代码

首先，我们需要将watermelon.txt文件中的数据读入Spark中，并将密度和含糖率作为特征进行聚类。以下是实现该任务的代码：

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.clustering.{KMeans, KMeansModel}
import org.apache.spark.mllib.linalg.Vectors

object KMeansExample {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("KMeansExample").setMaster("local")
    val sc = new SparkContext(conf)

    // 读取数据
    val data = sc.textFile("watermelon.txt")
      .map(line => {
        val parts = line.split("\t")
        Vectors.dense(parts(0).toDouble, parts(1).toDouble)
      }).cache()

    // 聚类数为2，最大迭代次数为20
    val numClusters = 2
    val numIterations = 20

    // 训练模型
    val clusters = KMeans.train(data, numClusters, numIterations)

    // 输出聚类结果
    println("Cluster centers:")
    clusters.clusterCenters.foreach(println)

    // 保存模型
    clusters.save(sc, "myModelPath")

    // 加载模型
    val sameModel = KMeansModel.load(sc, "myModelPath")

    sc.stop()
  }
}

上述代码通过`textFile`方法将watermelon.txt文件中的数据读入Spark中，并使用`map`方法将每行数据转换为一个稠密向量（dense vector），其中第一个数值表示密度，第二个数值表示含糖率。然后，我们使用`KMeans.train`方法训练模型，并指定聚类数为2，最大迭代次数为20。最后，我们输出聚类中心，并将模型保存到本地文件系统中。

如果想使用Spark MLlib中的KMeans算法实现聚类，可以使用以下代码：

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.ml.clustering.KMeans
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.sql.SparkSession

object KMeansExample {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("KMeansExample").setMaster("local")
    val sc = new SparkContext(conf)
    val spark = SparkSession
      .builder()
      .appName("KMeansExample")
      .getOrCreate()

    // 读取数据
    val data = spark.read.format("csv")
      .option("header", "false")
      .option("delimiter", "\t")
      .option("inferSchema", "true")
      .load("watermelon.txt")
      .toDF("density", "sugarContent")
      .cache()

    // 将密度和含糖率拼接成一个特征向量
    val assembler = new VectorAssembler()
      .setInputCols(Array("density", "sugarContent"))
      .setOutputCol("features")

    val assembledData = assembler.transform(data).cache()

    // 聚类数为2，最大迭代次数为20
    val kmeans = new KMeans().setK(2).setMaxIter(20)

    // 训练模型
    val model = kmeans.fit(assembledData)

    // 输出聚类结果
    println("Cluster centers:")
    model.clusterCenters.foreach(println)

    // 保存模型
    model.write.overwrite().save("myModelPath")

    // 加载模型
    val sameModel = KMeansModel.load("myModelPath")

    sc.stop()
  }
}

上述代码首先使用Spark SQL中的`read`方法读取watermelon.txt文件中的数据，然后使用`VectorAssembler`将密度和含糖率拼接成一个特征向量。接着，我们使用`KMeans`类创建KMeans算法对象，并设置聚类数为2，最大迭代次数为20。最后，我们使用`fit`方法训练模型，并输出聚类中心。与使用Spark Core中的KMeans算法相比，使用Spark MLlib中的KMeans算法更方便，因为它可以直接读取DataFrame并进行转换。