matlab求H(X) = -sum(p(xi)*log2(p(xi)))的二阶导数

假设 $p(x)$ 是一个 $n$ 维向量，表示概率分布，即 $p(x)=[p_1,p_2,\cdots,p_n]^T$，其中 $p_i$ 是 $x=i$ 的概率。则 $H(X)=-\sum_{i=1}^n p_i \log_2 p_i$。

首先求出 $H(X)$ 的一阶导数：

$$\frac{\partial H(X)}{\partial p_j}=-\log_2 p_j - 1$$

然后求出 $H(X)$ 的二阶导数：

$$\frac{\partial^2 H(X)}{\partial p_j^2}=-\frac{1}{p_j \ln 2}$$

其中 $\ln 2$ 是自然对数的底数。因此，$H(X)$ 的二阶导数是一个 $n\times n$ 的矩阵，其对角线元素为 $-\frac{1}{p_i \ln 2}$，非对角线元素为 $0$。可以用 Matlab 代码实现如下：

function Hessian = entropy_hessian(p)
% p: probability distribution vector
n = length(p);
Hessian = zeros(n,n);
for i=1:n
    Hessian(i,i) = -1 / (p(i)*log(2));
end
end