Decision Trees - RDD-based API scala语言代码输出预测结果
时间: 2024-02-13 21:02:35 浏览: 169
下面是一个使用RDD-based API scala语言代码输出预测结果的Decision Trees示例:
```scala
import org.apache.spark.mllib.tree.DecisionTree
import org.apache.spark.mllib.tree.model.DecisionTreeModel
import org.apache.spark.mllib.util.MLUtils
// 加载训练数据
val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")
// 将数据集划分为训练集和测试集
val splits = data.randomSplit(Array(0.7, 0.3))
val (trainingData, testData) = (splits(0), splits(1))
// 训练一个决策树模型
val numClasses = 2
val categoricalFeaturesInfo = Map[Int, Int]()
val impurity = "gini"
val maxDepth = 5
val maxBins = 32
val model = DecisionTree.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo,
impurity, maxDepth, maxBins)
// 将测试数据集输入到模型中并进行预测
val labelAndPreds = testData.map { point =>
val prediction = model.predict(point.features)
(point.label, prediction)
}
// 计算模型在测试集上的准确率
val testErr = labelAndPreds.filter(r => r._1 != r._2).count().toDouble / testData.count()
println("Test Error = " + testErr)
println("Learned classification tree model:\n" + model.toDebugString)
// 输出预测结果
println("Prediction Results:")
labelAndPreds.foreach(println)
```
在这个示例中,我们首先加载了一个样本数据集,然后将其划分为训练集和测试集。然后使用训练集训练一个决策树模型,并将测试数据集输入模型进行预测。最后,我们输出预测结果并计算模型在测试集上的准确率。
阅读全文