kl_divergence

KL散度（Kullback-Leibler divergence），也称为相对熵或信息散度是用于衡量两个概率分布之间差异的一种度量方法。在信息论和统计学中广泛应用。

KL散度定义如下：
KL(P||Q) = ΣP(x) * log(P(x)/Q(x))

其中，P和Q分别表示两个概率分布，x表示概率分布中的一个事件。P(x)和Q(x)分别表示事件x在P和Q中的概率。

KL散度的值是非负的，当且仅当P和Q是相同的概率分布时，KL散度为0。当P和Q之间的差异增加时，KL散度的值也会增加。

KL散度可以用于各种任务，例如模型优化、数据压缩、分类问题等。在机器学习中，KL散度常用于衡量模型的预测分布与真实分布之间的差异。