北京邮电大学模式识别课件：训练线性分类器的迭代过程

本资源主要介绍了W的训练过程，针对模式识别中的分类器设计，特别是线性分类器的设计方法。在模式识别导论的第三章中，学习者被引导理解如何通过监督学习的方式，利用有限的学习样本来确定分类器的权向量，也就是权值向量W。这个过程涉及到线性判别函数g(x)=WTX，其中X是特征向量，W是待求解的权值向量。 训练步骤涉及以下几个关键点： 1. **线性可分性前提**：首先，分类问题必须是线性可分的，即样本能用一个超平面（由W定义的直线或超平面）清晰地分割到不同的类别区域，如示例中提到的ω1和ω2。 2. **迭代调整**：从零初始权向量w1开始，通过不断调整，如先将x1和x3相加得到矢量2，然后基于这个新矢量确定一个超平面H，使得原本错误分类的点（如x3）移动到正确区域。这个过程重复进行，每次将当前分类错误的点与前一步得到的矢量相加，形成新的矢量，直到找到一个能在给定的样本集内正确分类所有点的权向量。 3. **线性方程组求解**：对于多类别的二元分类问题，如Xa、Xb属于ω1，Xc、Xd属于ω2，通过构建线性不等式方程组，如①②③④所示，来求解权值向量W1、W2和W3。这些方程表示每个类别的样本点与权向量的乘积应满足特定的关系，通过求解这个方程组找到权值。 4. **规范化**：为了确保求解的稳定性，通常会对某些方程进行规范化处理，如将③④式的负号项转换，以便形成一个更标准的形式。 5. **矩阵表示**：整个训练过程可以用矩阵形式表示，其中样本数量N乘以特征数n+1的矩阵N*(n+1)，这有助于高效计算和理解问题的结构。 6. **非单值性**：需要注意的是，即使在线性可分情况下，求解得到的权向量可能不是唯一的，因为可能存在多个超平面能够完美分割数据，这就需要根据实际需求选择合适的权向量。 总结来说，这个资源详细讲解了线性分类器设计的数学原理和实践步骤，展示了如何通过迭代调整和方程求解来构建分类器，是理解和掌握模式识别中分类器训练的基础内容。