正态分布贝叶斯估计推导

假设数据 $x_1,x_2,...,x_n$ 来自正态分布 $N(\mu,\sigma^2)$，其中 $\sigma^2$ 已知。假设 $\mu$ 的先验分布是正态分布 $N(0,\tau^2)$，根据样本 $x_1,...,x_n$ 写出 $\mu$ 的贝叶斯估计。

首先，写出 $\mu$ 的似然函数 $L(\mu)$：

$$L(\mu) = p(x_1,...,x_n|\mu) = \prod_{i=1}^n p(x_i|\mu) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}$$

接下来，写出 $\mu$ 的先验分布 $p(\mu)$：

$$p(\mu) = \frac{1}{\sqrt{2\pi\tau^2}} e^{-\frac{\mu^2}{2\tau^2}}$$

根据贝叶斯定理，$\mu$ 的后验分布为：

$$p(\mu|x_1,...,x_n) \propto p(x_1,...,x_n|\mu) p(\mu)$$

将似然函数和先验分布代入上式，得到：

$$p(\mu|x_1,...,x_n) \propto \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}} \cdot \frac{1}{\sqrt{2\pi\tau^2}} e^{-\frac{\mu^2}{2\tau^2}}$$

取对数并忽略与 $\mu$ 无关的项，得到：

$$\ln p(\mu|x_1,...,x_n) \propto -\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i-\mu)^2 - \frac{1}{2\tau^2} \mu^2$$

对上式求偏导数并令其等于 $0$，得到：

$$\mu_{\text{Bayes}} = \frac{\frac{1}{\sigma^2} \sum_{i=1}^n x_i}{\frac{1}{\sigma^2} n + \frac{1}{\tau^2}}$$

因此，$\mu$ 的贝叶斯估计为 $\mu_{\text{Bayes}}$。