假设使用打篮球数据集进行有指导的训练得到两个分类模型-|||-M1和M2。两个模型都使用了数据集中的前8个实例作为训练数-|||-据,后7个实例作为检验数据,分类错误率分别为27.14%和-|||-19.57%。那么,两个模型的检验集性能是否存在显著差异。
时间: 2023-11-11 15:07:59 浏览: 51
为了确定两个模型的检验集性能是否存在显著差异,我们可以使用统计假设检验。我们可以使用 McNemar 检验来比较两个分类器的性能,因为它是一种针对配对二分类数据的假设检验方法。
首先,我们需要构造以下 2x2 表格,来计算两个模型在测试集上的预测结果:
| | Model 2 Correct | Model 2 Incorrect |
|---------|----------------|-------------------|
| Model 1 | 1 | 6 |
| Model 1 | 3 | 3 |
在这个表格中,左上角的单元格表示两个模型都预测正确的实例数,右下角的单元格表示两个模型都预测错误的实例数,而其余两个单元格则表示只有一个模型预测正确或错误的实例数。
然后,我们可以使用 McNemar 检验来测试两个模型的错误率是否存在显著差异。根据 McNemar 检验的假设,如果两个模型的分类效果相同,那么它们在测试集上的错误率应该基本相等,即两个模型的错误率之差应该接近于 0。
根据上述表格,我们可以计算 McNemar 统计量:
M = (6 - 3)^2 / (6 + 3) = 1.5
接下来,我们需要根据自由度为 1 的卡方分布表来确定 McNemar 统计量的显著性水平。在显著性水平为 0.05 的情况下,临界值为 3.84。
由于 McNemar 统计量 M = 1.5 < 3.84,因此我们可以得出结论:两个模型的检验集性能没有显著差异。也就是说,我们无法拒绝两个模型的分类效果相同的假设。