假设在两个预测模型M1和M2之间进行选择。已经在每个模型上做了10轮10-折交叉验证,其中在第i轮,M1和M2都使用相同的数据划分。M1得到的错误率为30.5、32.2、20.7、20.6、31.0、41.0、27.7、28.0、21.5、28.0。M2得到的错误率为22.4、14.5、22.4、19.6、20.7、20.4、22.1、19.4、18.2、35.0。评述在1%显著水平上,一个模型是否显著地比另一个好。
时间: 2023-07-04 17:03:19 浏览: 134
为了评估两个模型在1%显著水平上的表现差异,可以使用方差分析(ANOVA)方法。首先,需要计算每个模型的平均错误率和总平均错误率。然后,计算误差平方和(SSE)和组间平方和(SSG)。最后,计算F值并进行假设检验。
计算每个模型的平均错误率:
M1:(30.5+32.2+20.7+20.6+31.0+41.0+27.7+28.0+21.5+28.0)/10 = 28.2%
M2:(22.4+14.5+22.4+19.6+20.7+20.4+22.1+19.4+18.2+35.0)/10 = 21.7%
计算总平均错误率:
(28.2+21.7)/2 = 24.95%
计算SSE:
SSE = Σ(xi - x)^2 = Σ(xi - μi + μi - x)^2
= Σ(xi - μi)^2 + Σ(μi - x)^2
= SSE1 + SSE2
其中,xi表示第i次交叉验证的错误率,μi表示该交叉验证的平均错误率,x表示总平均错误率。
SSE1 = Σ(xi - μi)^2 = (30.5-28.2)^2 + (32.2-28.2)^2 + ... + (28.0-28.2)^2 = 78.03
SSE2 = Σ(xi - μi)^2 = (22.4-21.7)^2 + (14.5-21.7)^2 + ... + (35.0-21.7)^2 = 527.89
SSE = SSE1 + SSE2 = 605.92
计算SSG:
SSG = Σ(ni * (μi - x)^2) / (k - 1)
其中,ni为每个模型的样本数,k为模型数。
n1 = n2 = 10
SSG = (10 * (28.2 - 24.95)^2 + 10 * (21.7 - 24.95)^2) / (2 - 1) = 34.26
计算F值:
F = (SSG / (k - 1)) / (SSE / (N - k))
其中,N为总样本数。
N = n1 + n2 = 20
k = 2
F = (34.26 / 1) / (605.92 / 18) = 1.20
在1%显著水平下,自由度为1和18的F分布临界值为6.39。因此,F值小于临界值,无法拒绝原假设,即两个模型的表现差异不显著。因此,无法确定一个模型是否显著地比另一个好。