相对熵python代码

相对熵，也称为KL散度（Kullback-Leibler divergence），是衡量两个概率分布之间差异的一种方法。在Python中，可以使用SciPy库中的`entropy`函数来计算相对熵。

下面是一个示例代码，用于计算两个正态分布之间的相对熵：

import numpy as np
from scipy.stats import norm
from scipy.special import kl_div

# 计算两个正态分布之间的相对熵
def relative_entropy(mu1, sigma1, mu2, sigma2):
    p = norm(mu1, sigma1)
    q = norm(mu2, sigma2)
    x = np.linspace(-10, 10, 1000)
    return kl_div(p.pdf(x), q.pdf(x)).sum()

# 例子
mu1, sigma1 = 0, 1
mu2, sigma2 = 2, 2
print(relative_entropy(mu1, sigma1, mu2, sigma2))

在上面的代码中，我们使用了SciPy库中的`norm`函数来生成两个正态分布。然后，我们计算了这两个分布之间的相对熵。最后，我们输出了结果。

需要注意的是，相对熵是非对称的，即`relative_entropy(p, q)`不等于`relative_entropy(q, p)`。因此，我们在计算相对熵时需要确定哪个分布是“真实”分布，哪个是“近似”分布。