contrastive divergence

对比散度（Contrastive Divergence，CD）是一种用于训练受限玻尔兹曼机（RBM）的方法。它是一种近似的梯度下降算法，用于最大化RBM的对数似然函数。

在CD算法中，首先从训练数据中初始化可见层的状态，然后通过RBM的正向和反向传播来计算可见层和隐藏层之间的联合概率。接下来，通过重复执行这个过程，将生成的样本作为可见层的状态进行更新，直到达到稳定状态。

CD算法的核心思想是通过比较两个分布之间的差异来近似计算梯度。具体地，它通过计算正样本和负样本之间的平均对数概率差异来估计梯度，并使用该梯度来更新RBM的参数。

尽管CD算法是一种近似方法，但在实践中已经被证明是有效的，并且在训练RBM和其他概率生成模型中得到广泛应用。