参数估计：矩估计与极大似然估计方法

"数理统计ppt，由孙祝岭、徐晓岭编写的数学统计课程讲义" 在数理统计中，参数估计是一项基础且重要的任务，它的目标是基于样本数据来推测未知总体的特性。这里主要介绍了两种常见的点估计方法：矩估计法和极大似然估计法。 点估计是指通过构建统计量来估算未知参数的方法。当用统计量g(X1, X2, ..., Xn)来估计参数θ时，这个统计量称为θ的估计量，记作θ^ = g(X1, X2, ..., Xn)。在实际观测到样本值(x1, x2, ..., xn)后，估计量的值g(x1, x2, ..., xn)被称为θ的估计值，同样记作θ^。 矩估计法是利用样本矩来估计总体矩，进而推断未知参数。对于总体X的k阶原点矩和样本k阶原点矩，如果未知参数仅有1个，可以通过使得样本均值等于总体均值来求解得到矩估计。例如，若X服从概率质量函数P(X=k) = {0.2, 0.8-p, p}，可以解方程EX=p来估计p的值。另一案例中，若样本X1, X2, ..., Xn来自均匀分布U(0, θ)，可以求解EX=θ和DX=θ^2来找到θ的矩估计。 当未知参数有两个时，需要解一个方程组来得到矩估计。例如，对于具有两个未知参数的分布，可以利用两个独立的矩来构建方程组求解。 矩估计法的一个显著优点是其简单易计算，特别是当样本容量n较大时，其精度通常较高，但这种方法不依赖于总体的具体分布形式。矩估计的理论基础是大数定律，即随着样本数量的增加，样本矩趋于总体矩。 参数函数的矩估计是矩估计的一个扩展，如果g(θ)是参数θ的连续函数，那么g(θ^)就是g(θ)的矩估计。 极大似然估计法则是另一种常用的方法，其基本思想是找到使样本出现概率最大的参数值作为参数的估计。对于总体X，其密度函数为f(x; θ1, θ2, ..., θk)，样本X1, X2, ..., Xn的观察值为x1, x2, ..., xn，似然函数L(θ1, θ2, ..., θk)是样本联合密度函数（对于离散型变量是联合分布律）。如果找到一组参数值使似然函数L达到最大，那么这组参数值就是极大似然估计，记作MLE。 总结起来，数理统计中的参数估计主要包括矩估计和极大似然估计，这两种方法在不同的情况下各有优劣，是统计推断中的核心工具。矩估计适用于未知参数较少的情况，而极大似然估计则能够处理更复杂的模型和多个参数的估计问题。