统计决策中的参数估计与非参数方法探讨

第五章主要探讨了在统计决策中如何通过训练、学习以及错误率估计来构建分类器。章节首先强调了在实际应用中，我们通常不具备类条件概率密度函数的完整知识，因此需要依赖于统计推断方法来估计这些参数。 1. 参数估计 - 参数估计是学习过程的核心，分为两类：参数作为非随机量处理，如矩法估计和最大似然估计；以及将参数视为随机变量的贝叶斯估计。非参数估计方法包括p-窗法、有限项正交函数级数逼近法和随机逼近法，适用于未知类概率模型的情况。 2. 母体与子样 - 模式类或总体被定义为母体，它包含了所有可能的样本。子样则是从总体中选择的一部分，用来代表总体特征并进行参数估计。统计量是基于样本构造的函数，用于提取有用信息并估计未知参数。 3. 经验分布与理论分布 - 根据样本数据得到的分布被称为经验分布，而根据参数空间理论推测的分布则是理论分布。通过计算样本的数学期望、方差等统计量，可以对比经验分布与理论分布，验证参数估计的准确性。 4. 点估计与估计量 - 点估计是针对某个未知参数构建的一个具体数值，作为该参数的近似值。估计量是统计量的具体实例，用来对参数进行估计，是参数估计的重要概念。 5. 最小错误判决规则 - 在讨论中提到的“最小错误判决规则”可能是分类器的一种决策准则，即通过计算和比较样本与判别界面方程的线性项，做出最有利于减少错误判断的决策。具体公式涉及未知参数，但没有在提供的部分给出。 总结来说，第五章深入介绍了如何在实际场景下，利用统计推断理论中的各种估计方法，通过训练样本来学习和估计参数，从而建立有效的分类器，并通过错误率估计来优化决策过程。这部分内容对于理解机器学习中的参数估计和模型训练至关重要。