KL散度（相对熵）为什么是非负的？请证明

KL散度（相对熵）是非负的，因为它是由负的熵之和组成的，而熵本身是非负的。证明的过程如下：设$P(X)$和$Q(X)$是两个概率分布，则KL散度定义为： $KL(P||Q)=\sum_x P(x) \log \frac{P(x)}{Q(x)}$将上式带入$KL(P||Q)\geq 0$， 可以得出：$\sum_x P(x) \log \frac{P(x)}{Q(x)} \geq 0$由此可以解释为，由于$\log$是单调递增函数，$P(x)$和$Q(x)$都是非负的，因此KL散度也是非负的。