python实现MCS检验

MCS（Model Confidence Set）检验是一种模型选择方法，它根据一组损失函数的输入，找到那些在统计上与其他模型没有显著差异的模型，并控制全家庭错误率。主要输出是一组p值，其中p值大于设定的阈值的模型被认为在MCS中。小的p值表示模型很容易被从包含最佳模型的集合中剔除。

在Python中实现MCS检验，可以使用arch.bootstrap包中的MCS类。首先，需要将模型损失的数据传入MCS类，并指定阈值大小。然后，通过调用compute()方法计算MCS相关参数。接下来，可以使用pvalues属性来显示每个模型的MCS p值。使用included属性可以显示被纳入MCS的模型，使用excluded属性可以显示被排除在MCS之外的模型。

下面是一个示例代码，展示了如何使用MCS类进行MCS检验：

from arch.bootstrap import MCS

# 取出25个算法，500/20=25
losses = model_losses.iloc[:, ::20]

# 创建MCS对象并计算
mcs = MCS(losses, size=0.10)
mcs.compute()

# 显示各模型的MCS P值
print("MCS P-values")
print(mcs.pvalues)

# 显示被纳入MCS的模型
print("Included")
included = mcs.included
print([model.split(".")[1] for model in included])

# 显示被排除在MCS之外的模型
print("Excluded")
excluded = mcs.excluded
print([model.split(".")[1] for model in excluded])

这段代码首先计算了25个算法的损失，然后通过MCS类进行MCS检验，指定了阈值为0.1。最后输出了各模型的MCS p值，以及被纳入MCS和被排除在MCS之外的模型的标识。