h-divergence 具体介绍

h-散度（h-divergence）是一种统计学度量，用于衡量两个概率分布的差异。它的定义如下：

给定两个概率密度函数 $p(x)$ 和 $q(x)$，它们的 h-散度定义为：

$$
D_h(p||q) = \int \left( \frac{p(x)-q(x)}{h(q(x))}\right) h(p(x)) dx
$$

其中，$h(x)$ 是一个凸函数，满足 $h(1) = 0$，并且 $h(x)>0$ 对于 $x \in (0, 1)$ 成立。

h-散度的值越大，表示两个分布之间的差异越大。当 $h(x) = x \log x$ 时，h-散度就是经典的 KL-散度（Kullback-Leibler divergence），也称为相对熵。

h-散度的好处在于，可以根据数据的特点来选择合适的凸函数 $h(x)$，从而更好地描述数据之间的差异。例如，当数据中存在离群值时，可以选择 $h(x) = \sqrt{x}$ 或 $h(x) = x^2$，从而更加鲁棒地估计数据之间的差异。