特征提取与选择：基于几何距离的可分性判据

"基于几何距离的可分性判据-第七章 特征提取和选择" 在模式识别领域，特征提取和选择是至关重要的步骤，它们直接影响到分类识别的准确性和效率。本章重点关注如何利用几何距离来评估特征的可分性，并探讨了几种不同的方法。类别可分性判据是衡量特征对分类贡献的关键指标，它帮助我们构建出能够最大化类别间距离和最小化类别内距离的特征子集。 7.1 概述 特征提取与选择是模式识别中的三大核心问题之一，与特征数据采集和分类识别并列。这一过程旨在从原始特征中筛选出对分类最有价值的少量特征，以实现最小维数特征空间中的最优分类效果。目标是在保持类别间距离最大化的同时，减少同类模式点之间的距离，从而提高分类的准确性。 7.2 类别可分性判据 为了建立有效的特征选择准则，引入了类别可分性判据。这类判据应满足两个条件：首先，它与误判概率之间存在单调关系，即判据的增大意味着误判概率的降低；其次，当特征独立时，判据具有可加性，使得可以分别考虑每个特征对总判据的贡献。 直接选择法是一种特征选择的基本方法，它在特征数目d确定后，直接从n个原始特征中挑选d个特征，使得可分性判据J达到最大。这涉及到在n维特征空间中寻找最优的d维子空间。 另一种方法是变换法，通过坐标变换对原始n维特征空间进行降维，然后选取新的子空间，以最大化判据J。这种方法通常包括线性变换，如主成分分析（PCA）或非线性变换，如核主成分分析（KPCA）。 除此之外，还有多种特征选择方法，如基于误判概率的特征选择、离散K-L变换（DKLT）以及基于决策界的特征选择。离散K-L变换是一种在特征选择中广泛应用的技术，它通过计算特征间的相对熵（Kullback-Leibler Divergence）来量化特征的区分能力，从而帮助确定最具信息量的特征子集。 特征提取和选择的目标是找到最佳的特征组合，使得模型在最小化计算复杂性的同时最大化分类性能。通过运用各种可分性判据和选择策略，我们可以优化模式识别系统，提升其在实际应用中的表现。