剑课程后解：机器学习中的样本可分性与归类公理详解

在机器学习于剑课程的第二章中，主要探讨了三个核心概念：样本可分性公理、类可分性公理以及归类等价公理。首先，样本可分性公理强调了每个对象都应有且仅有一个与其最相似的类别，用数学表达式(1)表示为 \( \exists k \; \forall i: x_i \in X, \text{ such that } Sim(x_i, k) = \max_{j} Sim(x_i, j) \) 这确保了数据集中的对象可以根据其特征明确地分配到某个类别。必要性部分进一步证明了这个假设的合理性。 类可分性公理则定义为 \( \exists k \; \forall i: x_i \in X, \text{ there exists a unique } k \text{ with } x_i \in C_k \) 它表明类别之间是相互独立且明确划分的，没有模糊的边界。归类等价公理X ~ = 是整个章节的关键，它指出认知表示（考虑个体属性的分类）和外延表示（基于类别标签的分类）在归类能力上是等价的，即 \( (X_i \sim_j X_u) \Leftrightarrow (Sim(X_i, u) > Sim(X_i, k)) \) 这一公理揭示了内在特征和标签之间的关系，说明分类结果并不依赖于特定的表示方式，而是基于样本间的相似度比较。 通过这三个公理，课程强调了机器学习中的分类原则，并展示了如何通过这些理论基础来构建有效的分类模型。例如，硬划分（U为二元划分）的概念指出，每个样本只能属于一个类别，并且该类别具有确定性，即 \( c_i = ik \text{ where } \sum_{k=1}^c ik = 1 \) 这意味着在进行决策时，每个样本只属于一个确定的类别，不会出现混淆或不确定的情况。理解并掌握这些公理对于理解分类算法的工作原理以及评估模型性能至关重要。在实际应用中，这些公理是构建分类模型时的理论基础，可以帮助我们设计出准确且可靠的分类系统。