Fisher线性判别法与机器学习模型评估

"PRML_2018-2019-郭立东1" 本文主要探讨了机器学习和统计模式识别中的几个关键概念，包括Fisher线性判别分析、贝叶斯决策理论、过拟合与欠拟合的识别以及模型优化策略。以下是对这些知识点的详细阐述： **Fisher线性判别方法**是用于分类的一种方法，旨在寻找一个投影方向，使投影后的样本类别间差异最大化，同时类别内部的差异最小化。基本思想是找到一个投影向量**w**，使得类间散度（Sb）与类内散度（Sw）之比最大。准则函数通常表示为**w**的范数与类间散度矩阵与类内散度矩阵之差的乘积的比值。对于2类问题，解可以通过求解Sw的逆矩阵与Sb的乘积的特征向量得到，即**w** = (Sw)^(-1)Sb。 **最小错误率的贝叶斯决策**涉及到基于先验概率和似然概率的最优决策规则。决策函数根据样本特征值与决策面的关系来确定，如题干所示，通过比较两种可能的决策带来的误判概率来决定最佳决策。 **最小风险贝叶斯决策**进一步考虑了决策的风险，不仅考虑误判概率，还考虑了误判带来的损失。决策函数同样基于样本特征值和风险矩阵，通过比较不同决策的风险来确定。 **K-L变换**（Kullback-Leibler Divergence）是无监督学习中衡量两个概率分布差异的度量，此处提及它满足最佳K-L变换的需求，但未详细展开。 过拟合和欠拟合是模型训练中的常见问题。**过拟合**发生时，模型在训练集上表现优秀，但在未知数据（测试集）上表现较差，通常是由于模型过于复杂。而**欠拟合**则是模型过于简单，无法捕捉数据的复杂性，无论在训练集还是测试集上表现都不理想。通过绘制模型复杂度-错误率曲线，可以判断模型是否过拟合或欠拟合，并采取相应的优化措施，如正则化、增加数据量、使用集成学习等。 最后，文章提到了两种目标检测算法：**YOLO**（You Only Look Once）和**SSD**（Single Shot MultiBox Detector）。YOLO将图像划分为网格，每个网格预测物体边界框的概率；SSD采用锚点（Anchor）机制，针对不同尺寸和比例的物体，提出多个潜在边界框。 该文涵盖了机器学习中的基础理论和实际应用，包括分类、决策理论以及模型评估和优化。