LASSO MRMR MI RFE RFC 方差法分别属于特征筛选方式的哪一类
时间: 2023-08-10 18:08:28 浏览: 226
论文研究-基于Lasso与RFE特征消除的RVM旋转机械故障预测.rar
LASSO、MRMR、MI、RFE、RFC和方差法都是常用的特征选择方法,它们可以分为以下几类:
1. 过滤型(Filter):这类方法独立于后续的学习器,先对特征进行评估排序,然后再选择排名靠前的特征作为学习器的输入。
- 方差法属于过滤型特征选择方法,它通过计算每个特征的方差来评估特征的重要性,然后选择方差大于阈值的特征。
2. 包裹型(Wrapper):这类方法采用一个目标学习器作为特征子集的评价准则,通过不断调用目标学习器来评估不同的特征子集。
- RFE (Recursive Feature Elimination) 属于包裹型特征选择方法,它通过不断地训练模型并剔除最不重要的特征,最终得到一个最优的特征子集。
3. 嵌入型(Embedded):这类方法将特征选择过程融入到模型的训练过程中,学习得到的模型不仅可以用于预测,还可以用于特征选择。
- LASSO (Least Absolute Shrinkage and Selection Operator) 是一种嵌入型特征选择方法,它在线性回归的基础上加入了L1正则化项,可以有效地筛选出对目标变量有重要贡献的特征。
- RFC (Random Forest Classifier) 是一种嵌入型特征选择方法,它利用随机森林模型的特征重要性评估方法来对特征进行排序。
- MRMR (Minimum Redundancy Maximum Relevance) 和 MI (Mutual Information) 都是一种嵌入型特征选择方法,它们分别基于最小冗余最大相关性和互信息的原理来对特征进行排序。
阅读全文