最小二乘法求解GMRF 的条件概率

### 使用最小二乘法求解高斯马尔可夫随机场中的条件概率

对于高斯马尔可夫随机场(GMRF)，其联合分布可以表示为一个多元正态分布。当考虑GMRF内的节点\(i\)及其邻居集合\(\partial i\)时，节点\(i\)的值可以根据这些邻居来预测。

在GMRF框架下，假设观测数据服从线性模型：

\[ y_i = \sum_{j \in \partial i} w_j x_j + n, \]

其中 \(y_i\) 是节点\(i\)处的观测值；\(w_j\) 表示权重系数；\(x_j\) 代表邻接节点\(j\)的状态变量；而\(n\) 则是噪声项[^1]。

为了估计未知参数向量\(\mathbf{W}\)，即各个位置上的权值，在给定训练样本集的情况下，可以通过最小化残差平方和来进行优化:

\[ E(\mathbf{W})=\frac{1}{2}\sum_k(y^{(k)}-\hat{\mu}_i)^2,\quad k=1,...,N \]

这里\(E(\mathbf{W})\)定义为目标函数，它衡量的是实际观察到的数据与通过当前设定下的期望之间的差异程度。\((y^{(k)},\mathbf{x}_{\partial i}^{(k)})\)构成了一组独立同分布(i.i.d.) 的采样对，用于构建上述目标方程式的具体形式[^2]。

一旦获得了最优解\(\mathbf{W^*}\)，就可以利用该结果计算任意指定条件下其他未被直接测量过的随机变量的概率密度函数(PDF):

\[ p(x_i|x_{\partial i};\mathbf{W^*})=\mathcal{N}(m,s), m=\sum_{j \in \partial i} W^*_j x_j , s=(C^{-1})_{ii}-\sum_{l,m \in \partial i} C_{il} (C^{-1})_{lm} C_{mi}, \]

此处\(\mathcal{N}(m,s)\)指代均值为\(m\)标准偏差为\(\sqrt{s}\)的一维正态分布；矩阵\(C=[c_{ij}]_{|V|\times |V|}\)描述了整个图结构内所有顶点间的协方差关系[\(^3]\).

import numpy as np
from scipy import linalg

def estimate_weights(X, Y):
    """Estimate weights using ordinary least squares."""
    X_pinv = np.linalg.pinv(X.T @ X)
    return X_pinv @ X.T @ Y

def predict_mean(W, neighbors_values):
    """Predict mean value based on estimated weights and neighbor values"""
    return sum([wj * xj for wj, xj in zip(W, neighbors_values)])

# Example usage:
X = [[0.7], [-1.8]]  # Neighbor states or features.
Y = [1., -2.]        # Observed outcomes at target node.

weights = estimate_weights(np.array(X), np.array(Y))
predicted_means = [predict_mean(weights, xi) for xi in X]
print(f'Estimated Weights: {weights}')
print('Predicted Means:', predicted_means)