pyspark 朴素贝叶斯 java

pyspark中的朴素贝叶斯模型可以通过导入`NaiveBayes`类和`MulticlassClassificationEvaluator`类来使用。在训练数据加载和划分之后，可以创建`NaiveBayes`对象并设置参数，然后使用训练数据来拟合模型。通过调用`transform`方法对测试数据进行预测，并通过选择"prediction"和"label"列计算准确率。

Scala版的代码如下：

import org.apache.spark.ml.classification.NaiveBayes
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator

// 加载LIBSVM格式的数据作为DataFrame
val data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

// 划分数据集为训练集和测试集（30%用于测试）
val Array(trainingData, testData) = data.randomSplit(Array(0.7, 0.3), seed = 1234L)

// 训练朴素贝叶斯模型
val model = new NaiveBayes().fit(trainingData)

// 对测试集进行预测
val predictions = model.transform(testData)

// 计算准确率
val evaluator = new MulticlassClassificationEvaluator()
  .setLabelCol("label")
  .setPredictionCol("prediction")
  .setMetricName("accuracy")

val accuracy = evaluator.evaluate(predictions)

println("Accuracy: " + accuracy)

Python版的代码如下：

from pyspark.ml.classification import NaiveBayes
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# 加载LIBSVM格式的数据作为DataFrame
data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")
# 划分数据集为训练集和测试集
splits = data.randomSplit([0.7, 0.3], seed=1234)
trainingData = splits[0]
testData = splits[1]

# 创建并设置朴素贝叶斯模型
nb = NaiveBayes()
model = nb.fit(trainingData)

# 对测试集进行预测
predictions = model.transform(testData)

# 计算准确率
evaluator = MulticlassClassificationEvaluator(metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Accuracy: " + str(accuracy))