Kullback-Leibler（KL）散度

Kullback-Leibler（KL）散度，也称为相对熵，是衡量两个概率分布之间差异的一种度量方法。KL 散度的值越小，表示两个概率分布越相似；值越大，表示两个概率分布越不相似。

KL 散度的定义如下：

KL(p || q) = ∑_i p(i) log [p(i) / q(i)]

其中，p 和 q 是两个概率分布，i 是概率分布中的元素。KL 散度的计算结果是一个非负实数，当且仅当 p 和 q 相等时，KL 散度的值为 0。

在机器学习中，KL 散度常用于衡量两个概率分布之间的差异，例如在生成模型中，我们可以使用 KL 散度来衡量生成的样本分布与真实数据分布之间的差异，从而优化生成模型的性能。KL 散度也常用于信息检索领域中的文档相似度计算、分类器的评估等方面。