山东大学软件学院非参数估计实验报告：Kn-近邻法与Parzen窗应用

实验三由山东大学软件学院的傅显坤（学号：201800301153）于2020年10月28日完成，这是一门机器学习课程的实践项目。实验主题是“非参数估计”，主要关注的是统计学中的无参数方法，不依赖于特定的概率分布模型，而是直接对数据进行分析。 在实验中，傅显坤使用的软件环境包括MacOS Catalina操作系统、Python 3.0版本以及PyCharm IDE。非参数估计方法的核心是利用Parzen窗（也称为Parzen-Rosenblatt窗或核密度估计），这种方法通过将每个样本点视为一个权重函数（通常是高斯函数）的中心，来估计数据分布的密度。根据公式（1）、（2）、（3）和（4），可以通过计算这些窗口函数的积分来得到后验概率，但因为实验目标是分类而非精确概率计算，公式（5）简化为基于邻域大小（Kn）的近邻估计。 公式（9）给出了后验概率的判断标准，即某个点x属于特定类别的概率等于该类别内邻近样本点的数量除以所有样本点的总数。这体现了非参数估计的直观性，即基于样本的直接相邻关系来做出决策。 对于一维和二维空间，傅显坤利用欧氏距离来确定概率密度的值，通过公式（1）计算出具体概率p(x)，其中Kn是邻近样本数量，Vn是一维情况下的区间长度或二维情况下的球体体积（在本实验中由于不需要求体积，这一部分简化处理）。最后，实验涉及到使用Python的绘图工具来可视化数据和结果，帮助理解非参数估计的过程。 这个实验着重于实践非参数估计技术，通过Parzen窗方法进行数据分类，并通过编程实现邻近估计和概率密度计算，同时强调了理论与实际操作的结合。