基于DFSSVM的特征选择算法研究

需积分: 45 22 下载量 181 浏览量 更新于2024-07-18 2 收藏 1.09MB PDF 举报
"DES算法是特征选择的一种方法,旨在解决CES算法在处理连续函数时的局限性。DES算法考虑了特征间的相关性,通过衡量特征子集的区分度(DFS)来评估其对分类的贡献,从而进行特征选择。在DES中,特征子集的区分度是基于所有特征对分类的联合贡献来计算的,而不仅仅是单个特征的贡献。该算法结合了四种特征搜索策略:顺序前向、顺序后向、顺序前向浮动和顺序后向浮动,并利用支持向量机(SVM)作为分类器来指导特征选择过程,最终生成四种基于DFS和SVM的特征选择算法。在顺序前/后向浮动搜索策略中,DFS准则被用于动态增减特征,优化特征子集,提高分类性能。这项工作由谢娟英和谢维信等人进行,得到了国家自然科学基金等多个项目的资助,并发表于《计算机学报》上。" DES算法(Discrimination of Feature Subsets)是一种特征选择的扩展算法,针对CES(Characteristic Evaluation Strategy)算法在处理包含连续函数数据时的不足。DES的主要目标是衡量特征子集的整体分类能力,而不只是关注单个特征的表现。它引入了一个新的度量标准——DFS(Discernibility of Feature Subsets),该标准考虑了特征间的相互关系,通过计算特征子集中的所有特征对分类任务的联合贡献来评估子集的区分度。 特征选择在机器学习和数据挖掘中至关重要,因为它可以降低模型复杂性,减少过拟合的风险,同时提高预测准确性和模型解释性。DES算法通过综合考虑特征的相关性,有助于筛选出对分类任务最具影响力的特征子集,从而提升支持向量机(SVM)等分类器的性能。 在DES的实现过程中,结合了四种不同的特征搜索策略: 1. 顺序前向:从空集开始,逐步添加特征,每次添加一个最能提高分类性能的特征。 2. 顺序后向:从全特征集开始,逐步删除特征,每次删除对分类影响最小的特征。 3. 顺序前向浮动:类似于顺序前向,但在添加特征后会检查已选择的特征子集,如果替换一个已有的特征可以提高性能,则进行替换。 4. 顺序后向浮动:类似于顺序后向,但在删除特征后会检查是否可以添加回一个已删除的特征以提升性能。 这些搜索策略都是基于DFS准则来确定特征的添加或删除,以此构建最优特征子集。支持向量机(SVM)作为强大的分类工具,在这个过程中起到关键作用,通过SVM的分类性能来反馈特征子集的选择效果。 谢娟英和谢维信的研究工作不仅提出了DES算法,还将其与SVM结合,形成了四种具体的特征选择算法,这对于处理复杂数据集和提高分类模型的性能具有实际应用价值。这项研究受到多个科研项目的资助,表明了其在学术界和工业界的重要地位。
2014-08-28 上传