scala 构建贝叶斯模型

在 Scala 中构建贝叶斯模型，一般可以使用 Spark MLlib 中的 NaiveBayes 类。以下是一个简单的示例：

import org.apache.spark.ml.classification.NaiveBayes
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
import org.apache.spark.ml.feature.{IndexToString, StringIndexer, VectorAssembler}
import org.apache.spark.sql.SparkSession

// 创建 SparkSession
val spark = SparkSession.builder().appName("NaiveBayesExample").getOrCreate()

// 读取数据集
val data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

// 将标签列转换为索引列
val labelIndexer = new StringIndexer().setInputCol("label").setOutputCol("indexedLabel").fit(data)
val indexedData = labelIndexer.transform(data)

// 将特征列合并为特征向量列
val featureCols = data.columns.filter(_ != "label")
val assembler = new VectorAssembler().setInputCols(featureCols).setOutputCol("features")
val assembledData = assembler.transform(indexedData)

// 划分训练集和测试集
val Array(trainingData, testData) = assembledData.randomSplit(Array(0.7, 0.3), seed = 1234L)

// 训练贝叶斯模型
val nb = new NaiveBayes().setLabelCol("indexedLabel").setFeaturesCol("features")
val model = nb.fit(trainingData)

// 在测试集上进行预测
val predictions = model.transform(testData)

// 将索引列转换为标签列
val labelConverter = new IndexToString().setInputCol("prediction").setOutputCol("predictedLabel").setLabels(labelIndexer.labels)
val convertedPredictions = labelConverter.transform(predictions)

// 计算模型的准确率
val evaluator = new MulticlassClassificationEvaluator().setLabelCol("indexedLabel").setPredictionCol("prediction").setMetricName("accuracy")
val accuracy = evaluator.evaluate(convertedPredictions)
println(s"Test set accuracy = $accuracy")

// 关闭 SparkSession
spark.stop()

这个示例中使用的数据集是 MLlib 中自带的一个样例数据集，你可以根据自己的需求替换为其他数据集。在实际使用中，你可能需要对数据进行更多的预处理，例如缺失值处理、特征工程等。