随机最大似然与对比散度：深度学习中的近似算法

"随机最大似然和对比散度-cm3_fpga soc_design_flow" 本文主要探讨了在机器学习和深度学习中，如何处理具有难以求解配分函数的模型，特别是介绍了随机最大似然（Stochastic Maximum Likelihood, SML）和对比散度（Contrastive Divergence, CD）的概念。在机器学习模型中，配分函数是计算模型概率的重要组成部分，但在某些复杂的模型中，它的精确计算非常困难。 面对配分函数的问题，可以通过蒙特卡罗方法来近似最大似然估计。等式(18.15) 描述了一个利用样本平均来近似梯度的策略，即通过从数据和模型分布中抽样来估算梯度。在正相中，增加数据点的对数似然，而在负相中，减少模型生成样本的对数似然。这个过程可以直观地理解为在数据点上施加一个拉力，使得模型更倾向于这些点，同时在模型生成的样本上施加一个推力，使得模型减少在这些点上的概率。 在深度学习中，模型通常由能量函数参数化，正相可以解释为降低训练样本的能量，而负相则对应提高模型抽样的能量。这个过程可以看作是在最大似然原则下，通过两种相反的力量寻找平衡：一种是增加数据点的概率，另一种是减少模型生成样本的概率。 随机最大似然的学习策略涉及预烧随机初始化的马尔可夫链，但这种方法的计算成本较高，不适合实时或大规模学习任务。因此，人们发展出了诸如对比散度等更高效的近似算法。对比散度是一种近似负相的方法，它试图简化负相的计算，但也可能引入误差。负相的采样被视为寻找模型高信任度区域，这些区域可能代表模型的错误信念，有时被比喻为“幻觉”或“幻想粒子”。 在实际应用中，这些理论方法常用于无向模型的训练，如马尔可夫随机场（Markov Random Fields, MRFs）和受限玻尔兹曼机（Restricted Boltzmann Machines, RBMs）。尽管这些理论提供了一种解释学习过程的框架，但它们在神经科学中的解释尚未得到充分证实。 随机最大似然和对比散度是处理复杂模型的统计学习方法，它们在理解和优化深度学习模型的训练过程中起着关键作用。这些方法利用蒙特卡罗方法和近似算法，以有效地在大量数据和复杂模型中寻找最优的参数配置。