为什么log pθ(x) = Eqφ(z|x)[log pθ(x)]

在DLVMs中，我们通常使用变分推断（variational inference）来近似计算边缘概率分布log pθ(x)。其中，我们引入一个近似后验分布qφ(z|x)来近似真实的后验分布pθ(z|x)。φ是近似后验分布的参数。

根据变分推断的原理，我们希望最小化真实后验分布pθ(z|x)和近似后验分布qφ(z|x)的差异，这可以通过最小化KL散度来实现。KL散度定义为：

KL(qφ(z|x) || pθ(z|x)) = Eqφ(z|x)[log qφ(z|x) - log pθ(z|x)]

通过重新排列上式，我们可以得到：

log pθ(x) = Eqφ(z|x)[log pθ(x)] - KL(qφ(z|x) || pθ(z|x))

其中，log pθ(x)是边缘概率分布的对数。右侧的第一项Eqφ(z|x)[log pθ(x)]是关于潜在变量z的期望，它表示通过对潜在变量z进行采样并计算log pθ(x)的期望。这一项可以通过从近似后验分布qφ(z|x)中采样潜在变量z，并计算log pθ(x)在这些样本上的平均值来近似计算。

右侧的第二项KL(qφ(z|x) || pθ(z|x))是近似后验分布和真实后验分布之间的KL散度。注意，这一项是非负的，因此log pθ(x)的下界是Eqφ(z|x)[log pθ(x)]。通过最小化KL散度，我们可以使近似后验分布qφ(z|x)更加接近真实的后验分布pθ(z|x)，从而提高对边缘概率分布log pθ(x)的估计。

综上所述，log pθ(x)可以通过对潜在变量z的期望和KL散度的差来近似计算。其中，Eqφ(z|x)[log pθ(x)]是通过从近似后验分布中采样并计算log pθ(x)的期望得到的，而KL散度是用于最小化近似后验分布和真实后验分布之间差异的一项。