证明达到准对称离散信道信道容量的最佳输入分布是等概率分布
时间: 2023-06-08 19:07:09 浏览: 214
根据离散信道的定义,设输入字母集合为X,输出字母集合为Y,离散信道关系为Y = f(X),其中f为一个已知的函数关系。对于一个离散信道,其信道容量C定义为:
C = max[I(X;Y)]
其中I(X;Y)为输入随机变量X和输出随机变量Y之间的互信息。达到准对称离散信道的信道容量最佳输入分布是等概率分布,即当输入随机变量X服从等概率分布时,信道容量取到最大值。
证明如下:
设X为输入随机变量,取值范围为{x1, x2, …, xn},P(X=xi)=pi,Y为输出随机变量,取值范围为{y1, y2, …, ym},P(Y=yj)=qj,对于给定的输入值xi,其对应的输出值为y=f(xi),则有:
P(Y=yj|X=xi) = qj/j ∑k=1qk|fk(xi)=yj
其中∑k=1qk|fk(xi)=yj表示在所有可能的输出yj中,f(xi)等于yj的概率和。
将上式带入I(X;Y)的定义中可得:
I(X;Y) = H(Y) – H(Y|X)
其中H(Y)为输出随机变量Y的熵,H(Y|X)为已知输入随机变量X时,输出随机变量Y的条件熵。由于对于离散信道,输出随机变量的熵是一定的,因此我们可以将I(X;Y)的表达式简化为:
I(X;Y) = H(Y) – H(Y|X) = log2(m) – ∑i=1nP(xi)∑j=1m P(Y=yj|X=xi)log2P(Y=yj|X=xi)
对于一个离散信道而言,其最大的信道容量C,是指当输入随机变量服从某个概率分布时,使得I(X;Y)取到最大值时,此时I(X;Y)=C。
使用拉格朗日乘数法,我们将I(X;Y)的优化问题转化为以下形式:
max F(p) = ∑i=1n pi log2(qi)
s.t. ∑pi = 1, pi ≥ 0
其中qi = ∑j=1m P(Y=yj|X=xi),是输入值xi对应的输出概率分布。
通过求导数可得,当pi=q1=m-1/n 时,F(p)取到全局最大值,此时I(X;Y)也取到最大值C.
因此,当输入随机变量X服从等概率分布时,信道容量取到最大值,即等概率分布是达到准对称离散信道信道容量最佳输入分布。