协方差矩阵，多元高斯分布

回答: 协方差矩阵是用来衡量多元高斯分布中各个变量之间的相关性的矩阵。对于一维随机变量，可以直接用方差来衡量变量与其期望的偏离程度。而对于多维随机变量，协方差矩阵需要用一个矩阵来表示偏离程度。矩阵的对角线是每个维度自己的方差，对角线以外表示不同维度之间的协方差。协方差矩阵是实对称矩阵。[1]

需要注意的是，协方差矩阵与信息矩阵都可以用来表示多元变量之间的相关性。但是，协方差矩阵衡量的是变量之间的边际概率关系，通常是直接相关性；而信息矩阵衡量的是变量之间的条件概率关系，可能存在间接相关性。因此，在计算中可能会发现一些协方差矩阵中相关的两个量在信息矩阵中不相关，或者一些协方差矩阵中不相关的两个量在信息矩阵中相关。[2]

举个例子，当在协方差矩阵中两个变量之间是相关的时候，在信息矩阵中它们可能是相互独立的（相关系数为0）。这是因为在推导信息矩阵时使用了联合分布的链式法则，信息矩阵中的相关性在确定之后计算的，此时它们是相互独立的。[3]所以，协方差矩阵和信息矩阵在衡量多元高斯分布中的相关性时有不同的角度和解释。

相关问题

高斯分布的协方差矩阵怎么计算

假设有一个 $n$ 维的随机向量 $X=(X_1,X_2,\ldots,X_n)$，它服从多元正态分布，均值向量为 $\boldsymbol{\mu}=(\mu_1,\mu_2,\ldots,\mu_n)$，协方差矩阵为 $\boldsymbol{\Sigma}=(\sigma_{ij})$。

则协方差矩阵的计算公式为：

$$
\boldsymbol{\Sigma}=\begin{bmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn}\end{bmatrix}=\text{cov}(X)=E[(X-\boldsymbol{\mu})(X-\boldsymbol{\mu})^\mathrm{T}]
$$

其中，$E$ 表示数学期望运算符，$^\mathrm{T}$ 表示矩阵的转置操作。

协方差矩阵中的 $\sigma_{ij}$ 表示 $X_i$ 和 $X_j$ 的协方差，即：

$$
\sigma_{ij}=\text{cov}(X_i,X_j)=E[(X_i-\mu_i)(X_j-\mu_j)]
$$

对于高斯分布而言，协方差矩阵的计算是非常重要的，它可以描述不同维度之间的相关性，同时也是高斯分布参数估计的重要部分。

多元高斯分布marginals and conditionals

多元高斯分布，也称为多元正态分布或多元高斯随机向量，是一种常用的概率分布模型。它是单变量高斯分布在多维空间的推广，用于描述多维随机变量之间的关系。

多元高斯分布的marginals指的是在多元高斯分布中每个随机变量的边缘分布。假设一个多元高斯分布由一个均值向量和一个协方差矩阵所确定，那么marginals就是指在给定协方差矩阵下，将均值向量的其他维度设置为0得到的单变量高斯分布。换句话说，marginals可以理解为在多元高斯分布中将其他随机变量固定为某个特定值，研究单个随机变量的分布。

多元高斯分布的conditionals指的是在给定其他随机变量的取值的条件下，某个随机变量的条件分布。以一个二维的多元高斯分布为例，给定另一个随机变量的取值，条件分布是在多元高斯分布中寻找满足给定随机变量取值的那部分样本的分布。条件分布可以通过多元高斯分布的条件概率密度函数计算得到。条件分布的均值和方差是通过给定随机变量的取值和条件协方差矩阵计算得到的。

总结起来，多元高斯分布的marginals是在多维空间中每个随机变量的边缘分布，而conditionals是在给定其他随机变量的取值的条件下，某个随机变量的条件分布。这些概念是理解和应用多元高斯分布的关键。