import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer} import org.apache.spark.sql.{DataFrame, SparkSession} object First_Question { def main(args: Array[String]): Unit = { /******************* Begin *******************/ // 创建 SparkSession 对象 // 导入隐式转换 // 文档句子 val sentenceData = spark.createDataFrame( Seq( (0, "I heard about Spark and I love Spark"), (0, "I wish Java could use case classes"), (1,"Logistic regression models are neat") )).toDF("label", "sentence") // 句子单词划分 // 转换成哈希特征向量 // 使用 IDF 重新调整特征向量 // 输出 IDF 转换后的特征向量 /******************* End *******************/ } }

这段代码使用了Spark ML库来实现TF-IDF特征提取，以下是对代码的解释：

1. 导入相关类：

import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}
import org.apache.spark.sql.{DataFrame, SparkSession}

2. 创建SparkSession对象：

val spark = SparkSession.builder().appName("TFIDFExample").getOrCreate()

3. 创建DataFrame对象，包含文档标签和文本内容：

val sentenceData = spark.createDataFrame(
  Seq(
    (0, "I heard about Spark and I love Spark"),
    (0, "I wish Java could use case classes"),
    (1, "Logistic regression models are neat")
  )).toDF("label", "sentence")

4. 对文本内容进行分词：

val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
val wordsData = tokenizer.transform(sentenceData)

5. 将分词后的文本内容转换成哈希特征向量：

val hashingTF = new HashingTF().setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(20)
val featurizedData = hashingTF.transform(wordsData)

6. 使用IDF重新调整特征向量：

val idf = new IDF().setInputCol("rawFeatures").setOutputCol("features")
val idfModel = idf.fit(featurizedData)
val rescaledData = idfModel.transform(featurizedData)

7. 输出IDF转换后的特征向量：

rescaledData.select("label", "features").show()

以上就是这段代码的实现过程，希望对你有所帮助。