python中求二项分布下的得分函数以及Fisher函数

在Python中，二项分布的得分函数和Fisher信息是用来衡量数据对模型参数影响力的统计工具。

**得分函数 (Score Function)**:
在二项分布的情况下，得分函数也被称为偏导数或梯度，它表示的是似然函数对参数的一阶导数。对于给定的二项试验总次数n，成功次数k，和概率p，得分函数（记作S(p|n,k)）定义为：

from scipy.stats import binom

def score_function(n, k, p):
    likelihood = binom.pmf(k, n, p)
    return n * (1 - p) - k  # 这里的公式是 log(likelihood) 对 p 的一阶导数，简化后的形式

这个函数告诉我们，当数据改变时，参数p需要调整多少才能最大化似然。

**Fisher信息 (Fisher Information Matrix, FIM):**
Fisher信息是衡量似然函数曲率的一个量，它给出了参数的不确定性。对于二项分布，Fisher信息矩阵(FIM)是对角线矩阵，其元素是每个参数的一阶偏导数的平方除以其似然函数：

def fisher_information(n, k, p):
    var_p = -(score_function(n, k, p) ** 2) / binom.npmf(k, n, p)  # 对数似然的一阶导数的平方
    return np.diag(np.array([var_p]))  # 返回一个对角矩阵，只有一个元素var_p

fisher_matrix = fisher_information(n, k, p)

Fisher信息对于计算最大似然估计(MLE)的误差有重要作用，比如在高斯分布中，它直接给出了样本方差的标准误差。