正态分布的费舍尔信息矩阵
时间: 2023-11-01 20:33:53 浏览: 76
对于正态分布,其费舍尔信息矩阵为:
$I(\theta) = -\mathbb{E}\left[\frac{\partial^2}{\partial\theta^2}\log f(X;\theta)\right]$
其中,$f(X;\theta)$为正态分布的概率密度函数,$\theta$为分布的参数。
对于正态分布,其概率密度函数为:
$f(X;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left\{-\frac{(X-\mu)^2}{2\sigma^2}\right\}$
对其取对数,得到:
$\log f(X;\mu,\sigma^2) = -\frac{1}{2}\log(2\pi\sigma^2) - \frac{(X-\mu)^2}{2\sigma^2}$
对其求一阶和二阶导数,得到:
$\frac{\partial}{\partial\mu}\log f(X;\mu,\sigma^2) = \frac{X-\mu}{\sigma^2}$
$\frac{\partial}{\partial\sigma^2}\log f(X;\mu,\sigma^2) = -\frac{1}{2\sigma^2} + \frac{(X-\mu)^2}{2\sigma^4}$
$\frac{\partial^2}{\partial\mu^2}\log f(X;\mu,\sigma^2) = -\frac{1}{\sigma^2}$
$\frac{\partial^2}{\partial\sigma^2}\log f(X;\mu,\sigma^2) = \frac{1}{2\sigma^4} - \frac{(X-\mu)^2}{\sigma^6}$
$\frac{\partial^2}{\partial\mu\partial\sigma^2}\log f(X;\mu,\sigma^2) = \frac{X-\mu}{\sigma^4}$
代入费舍尔信息矩阵的公式中,得到:
$I(\mu,\sigma^2) = \begin{pmatrix}
\frac{1}{\sigma^2} & 0 \\
0 & \frac{1}{2\sigma^4} - \frac{(X-\mu)^2}{\sigma^6}
\end{pmatrix}$
因此,正态分布的费舍尔信息矩阵为一个2x2的矩阵。其中,第一个元素为$\frac{1}{\sigma^2}$,表示对于$\mu$的估计精度;第二个元素为$\frac{1}{2\sigma^4} - \frac{(X-\mu)^2}{\sigma^6}$,表示对于$\sigma^2$的估计精度。