scala代码 贝叶斯模型输出结果
时间: 2023-09-20 16:10:55 浏览: 101
这里是一个简单的 Scala 代码示例,展示如何使用 Apache Spark 中的 MLlib 库来训练一个朴素贝叶斯分类器并输出结果:
```scala
import org.apache.spark.ml.classification.NaiveBayes
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
import org.apache.spark.ml.feature.{HashingTF, Tokenizer}
import org.apache.spark.sql.SparkSession
// 创建 SparkSession
val spark = SparkSession.builder.appName("NaiveBayesExample").getOrCreate()
// 读取数据集
val data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")
// 划分数据集为训练集和测试集
val Array(trainingData, testData) = data.randomSplit(Array(0.7, 0.3), seed = 1234L)
// 特征提取器
val tokenizer = new Tokenizer().setInputCol("features").setOutputCol("words")
val hashingTF = new HashingTF().setNumFeatures(1000).setInputCol(tokenizer.getOutputCol).setOutputCol("features")
// 训练一个朴素贝叶斯分类器
val nb = new NaiveBayes()
nb.setModelType("multinomial")
val pipeline = new Pipeline().setStages(Array(tokenizer, hashingTF, nb))
val model = pipeline.fit(trainingData)
// 在测试集上进行预测
val predictions = model.transform(testData)
// 评估模型
val evaluator = new MulticlassClassificationEvaluator().setLabelCol("label").setPredictionCol("prediction").setMetricName("accuracy")
val accuracy = evaluator.evaluate(predictions)
println(s"Test set accuracy = $accuracy")
// 输出预测结果
predictions.show()
```
你可以将你的数据集替换文中的数据集路径,然后运行代码即可得到训练好的模型和预测结果。
阅读全文