证明高斯先验与高斯似然为共轭分布
时间: 2024-03-27 07:31:39 浏览: 21
高斯先验与高斯似然为共轭分布的证明如下:
假设我们有一个高斯分布的先验概率分布 $p(\theta)$,并且我们有一个高斯分布的似然函数 $p(x|\theta)$,其中 $x$ 是观测到的数据。我们希望找到一个后验概率分布 $p(\theta|x)$,它是先验概率分布和似然函数的乘积的归一化常数。
根据贝叶斯定理,我们可以得到:
$$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$$
其中 $p(x)$ 是归一化常数,可以通过积分 $p(x|\theta)p(\theta)$ 得到。
我们可以将高斯分布的先验概率分布表示为:
$$p(\theta) = \mathcal{N}(\theta|\mu_0,\sigma_0^2)$$
其中 $\mu_0$ 和 $\sigma_0^2$ 是先验分布的均值和方差。
我们可以将高斯分布的似然函数表示为:
$$p(x|\theta) = \mathcal{N}(x|\theta,\sigma^2)$$
其中 $\sigma^2$ 是已知的方差。
将先验概率分布和似然函数代入贝叶斯定理中,我们可以得到:
$$p(\theta|x) \propto \mathcal{N}(x|\theta,\sigma^2)\mathcal{N}(\theta|\mu_0,\sigma_0^2)$$
我们可以将上式展开为:
$$p(\theta|x) \propto \exp\left(-\frac{1}{2\sigma^2}(x-\theta)^2\right)\exp\left(-\frac{1}{2\sigma_0^2}(\theta-\mu_0)^2\right)$$
将上式化简,我们可以得到:
$$p(\theta|x) \propto \exp\left(-\frac{1}{2}\left(\frac{(x-\sigma_0^2\mu_0)+(n\sigma^2\theta)}{\sigma_0^2+n\sigma^2}\right)^2\right)$$
上式是一个均值为 $\frac{\sigma^2\mu_0+n\sigma_0^2x}{\sigma_0^2+n\sigma^2}$,方差为 $\frac{\sigma_0^2\sigma^2}{\sigma_0^2+n\sigma^2}$ 的高斯分布。因此,我们可以得出结论:高斯先验与高斯似然为共轭分布。