混合神经编码调制的设计和训练方法

可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8（2022）25www.elsevier.com/locate/icte混合神经编码调制：设计和训练方法Sung Hoon Lima，Jiyong Hana，Wonjong Noha，Yujae Songb，Sang-WoonJeonc，a大韩民国春川，翰林大学软件学院b韩国龟尾国立技术学院计算机软件工程系，邮编39177c大韩民国安山汉阳大学电子电气工程系接收日期：2021年9月30日;接收日期：2021年12月31日;接受日期：2022年1月30日2022年2月9日在线发布摘要提出了一种由内码和外码组成的混合编码调制方案。外码可以是任何标准的二进制具有有效软解码能力的线性码（例如，低密度奇偶校验（LDPC）码）。内部代码使用深度神经网络（DNN）设计，该深度神经网络获取信道编码比特并输出调制符号。为了训练DNN，我们建议使用损失函数，它是受广义互信息的启发。所得到的星座图被示出优于具有5G标准LDPC码的调制阶数16和64的传统的基于正交幅度调制（QAM）的编码方案版权所有2022作者。出版社：Elsevier B.V.代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：机器学习;神经网络;调制;信道编码;广义互信息1. 介绍用于信道编码的机器学习方法是一个新兴的领域，它可以帮助克服纠错编码中的许多挑战性问题。特别地，在[1]中已经提出了用于设计编码器和解码器的这种方法的一个有趣的见解是，端到端结构不使用传统的正交幅度调制（QAM）星座，也不使用事实上的架构，比特交织编码调制（BICM）[2，3]。相反，这是一个干净的石板方法，使用DNN的最佳编码器和解码器对。这种方法的一个好处是编码器不受限制到次优QAM星座，并且可以学习总体上更好的输入分布。利用DNN的端到端收发器 设计 已 应 用于 各 种 环境 中 ， 包括 加 性高 斯 白 噪声（AWGN）信道[4-其他作品也使用了DNN，专注于特定的组件，例如*通讯作者。电子邮件地址：shlim@hallym.ac.kr（S.H. Lim），43188@hallym.ac.kr（J. Han），wonjong. hallym.ac.kr（W.Noh），yjsong@kumoh.ac.kr（Y.Song），sangwoonjeon@hanyang.ac.kr（S. ─W. Jeon）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2022.01.018解码器设计[11-针对反馈信道[19]、量化信道观测[20]、联合最近，在[23]中给出了关于端到端设计的理论虽然这些方法在各种情况下提供了突破，但端到端设计方法中的一个挑战是代码长度中码字数量的指数增长使得学习端到端代码对于长代码非常困难。在另一种工作中，提出了混合架构，其由级联到外部线性码（例如，turbo和低密度奇偶校验（LDPC）码）的DNN内码（或调制器）组成。例如，混合架构被设计并应用于具有雷达干扰的AWGN[24]，光纤通信[25]，一位量化AWGN信道[20]和AWGN信道[26]。[26]的工作还推广了迭代解调和解码（IDD）的解码器，并给出了软件定义无线电的实现结果。在这些方法中，使用二进制交叉熵（BCE）[27]度量来训练DNN，这使得内部代码能够兼容外部线性码解码器，即，DNN输出是比特级解码度量的形式。混合结构方法的一个优点是，它可以受益于学习更好的星座（成形增益），同时保持实用的代码长度用于纠错性能（编码增益）。2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2526=|：==X二、二进制码的速率为中国Y =X==Cni=1Y|X| ;σ=πσ2σ2∈Yn∈M：∈X：∈遵循这种方法，我们提出了一种通用架构，可以采用一些现成的线性码（例如LDPC码），并将其与DNN自动编码器内码级联进行调制。考虑到这一目标，我们设计并训练了一个与线性信道码解码器兼容的DNN内码，例如，与和积算法（SPA）兼容我们在这方面的主要贡献是，解码器专门分为两个子组件，符号到比特级对数似然比（LLR）映射器（解调器）和二进制信道码解码器。输入字母表，即，星座集X被固定为大小为C离散子集其中M是调制阶数，并且m=log（M）。具体来说，我们表示长度n 二进制码C的码本，其将k个二进制输入bk∈Fk映射到n个二进制输入我们提出了一个近似公式的广义序列cn（bk）∈Fn2R =k。互信息（GMI）[3，28]作为损失函数，专门用于学习内部DNN编码器和解码器对。我们进一步概述了一些有用的培训技巧，我们已经通过广泛的评估。在数值评估部分，我们提供了我们的性能评估，其中我们训练的DNN内码与5G标准LDPC码连接[29]，并比较了其调制器然后映射第j个m长度子序列c（j）x（j）∈X的函数x（j）= μ（c（j）），j = 1，. . . 、N.编码调制策略的理论性能可以通过广义互信息（GMI）1以以下形式来测量：对于调制阶数M=16和M=64，基于QAM的BICM系统的性能。Igmi（X;Y）=E[log∑q（X， Y）x′∈XPX（x′）q（x′，Y）]、（2）在续集中，我们将C和F2定义为复数和二元领域随机变量用大写字母X表示，期望值用E[X]表示。我们定义cn（c1，. . .，Cn），即，一个长度为n的序列（或向量），并且通常会通过它的第j个子序列c（j）=（c（j）、. . . ，c（j）），使得Cn=（c（1），. . . ，c（N）），其中q（x， y）是（符号级）判决度量。注意，当q（x，y）p Y|X（y x），GMI等于编码调制容量[3]。在这项工作中，我们特别-对基于比特级判决度量的编码调制策略感兴趣以与比特级解码器（例如，合计-1m乘积算法）。为此，我们定义了一个通用的位级其中N n/ m。将记录子序列的长度在需要的时候。2. 系统模型2.1. 通信系统和信道模型映射第j个接收信号的基于度量的解调器y（j）∈Y到一组m位概率，由函数φ（y（j））= p（j），j = 1，. . . ，N其中p（j）=（p（j），. . . ，p（j）），p（j）∈ [0，1]是解调的1百万i（十）考虑无记忆通道（，p输入字母Y|X ，Y），其中，c i的比特概率估计 .在下面的部分中，我们将详细描述X、接收者字母表Y和条件分布pY的集合|X.信道的（2NR，N）码由消息组成集合[12NR]，一个编码器，它映射每个消息m[1个 2NR]到序列xN（m）N，以及解码器，其 将估计值m（yN）分配给每个接收序列yN N。 根据无记忆信道假设，有P（y N|x N）=Np Y|X（y i|x i）其中p Y|X是AWGN我们提出的体系结构，并解释我们如何专门化（2）比特级解码度量。3. 神经网络在本节中，我们将详细描述DNN组件μθ和φθ的拟议架构。所提出的编码调制系统的描述是通道，即，i=1示于图1.一、注意，在图中，调制器和解调器是由参数θ指定的DNN。我们的目标yi=xi+Zi，i∈[1：n]（1）其中Zi（0，σ2）和C.我们设σ21/SNR，其中SNR是信噪比功率比，并且我们假设输入受到平均功率约束是找到利用DNN架构的调制器和解调器对（μθ，φθ），该DNN架构找到参数θ以最大化GMI。一旦对（μθ，φθ）被完全训练，我们将其视为与二进制线性码组合的内码1∑nn|2 ≤ 1。|2 ≤ 1. 请注意，带下划线的通道分布（例如LDPC）作为外码。因此，AWGN信道由下式给出，3.1. DNN内部编码器（调制器）p（y x2）1exp（−|y − x|（二）θ2.2. 比特交织编码调制编码调制体系结构如下专门化通用通信系统。消息被认为是比特序列bk，例如，m∈的二元展开式.神经编码器µ包括若干层。第一S. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2527输入层是双曲正切层，即，全连通线性层tanh激活函数类似地，下面的隐藏层是整流线性单元（ReLU）层。最后两层是香草线性层，随后是归一化层以满足平均功率约束。回想一下，整个DNN编码器的输入是m长度的连续性，M. 编码器专门分为两个子组件，二进制码和比特到符号映射器（调制器），以及1这是[ 3 ]中给出的GMI 的下界，其中s = 1。S. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2528∑∑∏2i=1i=1C=|C1M1x′∈Cµ PY |X（Y）|x）的∑具有表示m位概率的m个φ θ（y（j））=[p（j），. . . 、p（j）]、（6）其中p（j）∈[0，1]，我们定义φθ（y（j））作为简写我φθ（φ（y）的符号3.3. 损失函数（j），σ（2））。对于损失函数，我们使用（2）的近似变体。为此，我们首先通过下式近似（2）：Fig. 1. 提出了编码调制系统的体系结构。在编码器处，二进制信息比特b，k被编码成二进制线性码c，n，其由DNN编码器编码以发送第j个输入符号x（j）。Ilogmi（X;Y）：=E[log[q（X， Y）x′∈Cµ P X（x ′）P Y|X（Y）|x ′）q（X， Y）]′（七）离开，并解复用为长度为m c（j）= {c（j），. . .，c（j）}，=M+Elog（八）解码过程以相反的顺序进行，其中，映射到解调器的比特的解调LLR（12）， 第j个符号x（j），以及是复用的n长度LLR。在解码器中，特征映射=M+E[logMi=1x′∈Cq（Ci，Y）P Y|X（Y）|x ′）]、（9）φθ前的函数φ（5）为了视觉清晰而省略。以及在φθ之后的p（j）到LLR的是µ其中我们定义度量q（x， y）=布勒姆q（c i，y）.注意的二进制码字c（j）∈Fm。最后一个标准化层我们已经定义了符号级度量q（x′，Y），（2）的分 母 乘以其最优值P Y|X在（7）中， 以及我们进一步选择符号级判决度量Q（x， y），应用如下。定义C语言2作为比特级度量的乘积，q（ci， y），这是一个Cµ={x：x=µθ（cm），cm∈Fm}，（3）其中，μπθ（cm）是最后一个线性层r的输出，即，不包括归一化层。设ημ和σμ2分别为μμ的样本均值和方差其次，标准化层输出由下式给出：Xx−η，（4）σ˜其中x是归一化层的输出因此，最终的归一化层使得星座点满足平均功率约束。我们注意到，在Cµ中为2m，一旦参数被确定，固定. 在训练阶段，样本均值η和方差σ2DNN解码器输出的函数我们注意到（9）分母的边缘化是一个函数，星座点µ。此外，我们将比特级判决度量q（ci，y）处理为乘积形式的p（y ci在下文中，我们将解释如何整合度量（9）我们提出的架构。首先，选择信道输入符号作为DNN编码器的输出，由下式给出：x= μ θ（c1，. . . ，c m），这导致 pX（x） =1/M。 对于解码度量，对于每个参数更新（例如，对于每个小批量随机梯度下降（SGD）更新）。在训练之后，归一化层不需要任何更新，因为参数映射，回想一下，我们的DNN解码器输出由（6）中定义的φθ（y（j））给出。在我们提出的架构中，决策度量定义为然后固定参数除最终输出外的所有图层q（c， y）={piifci=1（十）编码器和解码器的层用批θi1-p i否则。标准化[30]。我们注意到度量q（c， y）是DNN的函数，θiMS. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2529N（logi=1i ，（11））=M+3.2. DNN内部解码器（解调器）参数θ，因为pi是整个DNN的输出。当在上下文中很清楚，我们将省略下标θ并使用DNN解码器（解调器）具有以下结构：为了简洁，q（ci，y）。奥格米是的。首先，DNN解码器的输入由下式表示：应用于所述接收信号最后一步是近似I平均值为（X;Y）通过其样本y. 在接收到第j个信道输出y（j）时，接收到的符号被映射到信道分布∑1mqθ（c（j），y（j））p作为M维向量，即，LθNj=1∑x′∈CµPY|X （y（j））|x ′）Y|X其中c（j）是第j个输入符号的第i个 x（j）=n（y（j），σ 2）=[ln p Y|X（y（j）|x; σ 2）：x ∈ Cµ].（五）（j）i（j）（十）μ θ（c1，. . . ，c，m），y 是第j个DNN解码器输入σ 2（y（j），σ2）通过一些ReLU层，并且最终输出层由sigmoid给出。输入符号x（j）。DNN参数θ被训练为最大化（11）。S. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2530|||××∼∼∈C=××=我=我我p−=C==作为本节的最后一点，我们指出了经常用于二进制分类的二进制交叉熵（BCE）损失[27]与等式中给出的损失之间的一些 （九）、 在附录中，我们表明，BCE损失是等于一个专门的GMI（一个恒定的差异）时，度量被定义为一个估计的p（ci y），而假设的位概率是有条件的独立。我们注意到，由于线性编码结构，条件独立性假设通常 不 成 立 。 可 以 通 过 如 [26] 中 集 成 迭 代 解 码 和 解 调（IDD）来进行进一步改进以解决解调级中的线性结构。在我们的方法中，我们将度量定义为在制定GMI时p（yci）的近似，这导致由（9）的期望内的分子表示的附加项。我们注意到，分子项是DNN调制星座点的函数，这又使其成为DNN参数的函数。我们提出的损失函数明确地利用了损失函数中的边际p（y），并产生了与SPA直接兼容的p（y ci）的估计。BCE损失和我们提出的度量的性能比较在第4节中给出。3.4. 线性码一旦DNN被训练好，我们就可以将其与外部线性码相结合。为了便于介绍，我们将集中于LDPC码，然而，该结构可以与具有有效软解码算法的任何二元线性码组合。设c n是线性码码字，并假设nNm.码字被交织和解复用成m比特c（j）=（c（j），. . .，c（j））。第j个子序列被编码为：表1DNN第一阶段和第二阶段训练参数。参数M=16M= 64第二阶段批量M1600M1600样品数量M4800M3200学习率0.10.0010. 10. 001第一级优化器AdamW（0.01）AdamW（0.2）第二阶段优化器Adam Adam激活函数tanh、ReLU tanh、ReLU1个月（j）图二、 学习星座Cµ，M = 16，GMI最大化。DNN编码器μθ（c），然后通过通道发送到接收y（j），并最终在DNN解码器p（j）Φ0（σ2（y（j），σ2））处解码。解码器p（j）的输出然后被转换为解码度量q（c（j），y（j）），i1，. . . ，m（10）用于训练。对于信道码解码，DNN输出通过下式转换为对数似然比（LLR）：每个训练步骤的训练参数总结在表1中。在训练的第一阶段，我们保持解码结构简单，与第二阶段训练相比，我们有一个相对n（j）=ln1名p（j）（十）我，j = 1，. . . ，N，i = 1，. . . ，m.（十二）小批量，并使用AdamW [32]优化器进行L2正则化，正则化系数在表1的括号中给出。这些超参数的选择有助于然后，LLR被复用成n个序列，并由线性码解码器进行解码，例如，4. 培训方法和数值评估本节中的评估已经使用Pytorch [31]框架实现。在我们的评估中，我们使用5G标准LDPC码[29]，其中BG=1并且Zc24，速率1/ 2 LDPC码，其转换为长度1104（打孔后为1056）比特码字，并且使用具有50次迭代的DNN内部代码的训练独立于 线性信道码也就是说，在训练阶段，cm只是随机和独立地生成的。为了测试，我们使用来自线性码的编码位。我们使用两个阶段的训练过程，我们将其称为第一阶段训练（预训练）和第二阶段训练。的优化器避开局部最小值或鞍点，以找到良好的初始星座形状，用于在第二阶段的进一步精确训练。训练的第二阶段用于微调DNN并通过迁移学习训练更好的解码器。首先，我们将解码器与随机初始化的较大集合进行交换解码层（同时保持预训练的编码器）。我们用更大的批量训练编码器和解码器参数，并使用Adam优化器而不进行正则化。在下文中，我们提出了我们的数值评估。图在图2和图3中，我们展示了M的训练星座点 μ的示例16和M64、分别 请注意，与QAM星座相比，星座点具有圆形边缘，从而获得更好的整形增益。有趣的是，星座似乎具有类似标签的“格雷映射”结构桨编码器 隐藏单元[16、64、 32][64，128， 128]第一阶段下降。隐藏单元[第128话][第128话]第二阶段Dec隐藏单元[第128话][64，128]训练信噪比7 DB11.5分贝第1阶段批量M×20M×20S. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2531=-=-图3.第三章。 学习星座Cµ，M = 64，GMI最大化。见图4。 系统的误块率和误比特率的性能评估M16和M64。图中比较了我们的混合DNN策略，该策略最大化了GMI与标准QAM编码方案。这些图是图1和图2中给出的星座的结果。 2和3位（MSB）由平面的左半部分和右半部分区分。图4.比较了混合编码调制策略与传统的基于QAM的BICM策略的误比特率（BER）和误块率（BLER）。对于混合编码调制策略，0.3对于M16和M64，分别比传统的基于QAM的策略具有1dB增益和1dB增益。接下来，为了突出我们提出的损失函数Eq. （11）和训练方法，我们比较了两种训练的混合架构的性能，一种使用GMI损失函数Eq. （11）和一个用类似于[26]中的方法的传统BCE度量训练的。仿真环境和基本代码与图4相同。在图5中，我们可以看到，我们提出的训练方法的性能具有最佳的整体性能，而BCE损失图五、 计算和比较（11）和BCE中的GMI 损失，男=64。函数方法与传统的基于QAM的方案相比仍然学习更好的星座。5. 结论在本文中，我们提出了一种混合BICM架构，结合二进制线性码与DNN的内码。我们制定了一个GMI启发的损失函数和设计的架构，以兼容传统的线性码和软解码算法。与基于标准QAM的方法相比，基于DNN的内部代码提供整形增益，同时保持来自实际长度代码的编码增益，从而导致整体更好的纠错性能。此外，我们还提供了一些有用的训练方法来优化DNN.数值结果表明，所提出的混合方法优于基于QAM的BICM结构，可以为未来的高阶调制通信系统提供增益。一些有趣的未来的研究方向将是扩展的框架，衰落信道，多天线和多用户信道。CRediT作者贡献声明Sung Hoon Lim：提出主要想法，制定详细的建议方案。Jiyong Han：数值模拟，数值结果讨论. WonjongNoh：论文写作，参考调查。Yujae Song：数值模拟，数值结果讨论。Sang-Woon Jeon：整体论文组织，性能比较和分析。竞合利益作者声明，他们没有已知的可能影响本文所报告工作S. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）2532∏2|||=∈|=∑∑[]∑确认这项研究得到了韩国2019年哈林大学研究基金（HRF-201910-012）的支持。附录考虑 的联合分布其中p（cm）1/ 2m，cmFm，p（xcm）是比特到符号的映射分布，p（yx）是信道分布。我们将条件分布形式的决策度量定义为Mq（x|y）：= q（ci|y）。（十三）i=1然后，用度量（13）专门化GMI函数，我们有Igm i（X;Y）=H（X）+E[log q（X|Y）]M[9] Y. Jiang， H. Kim，H.阿斯纳尼，西-地坎南S。Viswanath，《学习代码：通过递归神经网络发明低延迟代码》，IEEEJ。选档地区信息理论1（1）（2020）207[10] F.A. Aoudia，J. Hoydis，端到端组件的无模型培训通信系统，IEEE J. Sel. Areas Commun. 37（11）（2019）2503-2516。[11] E. Nachmani，E.马尔恰诺湖卢戈施格罗斯，D.Burshtein，Y.Be'e ry ，Dee p le arn in g me th ods for impro ve d dec od in gof li nea r cod es ，IEEE J. 选档Top. 信号处理。12（1）（2018）119[12] O. 申塔尔， J. 霍伊迪斯 “机器 LLRning”： 学习 轻声解调，在：Proc.IEEE Globecom研讨会，2019年，pp。一比七[13] T. Koike-Akino，Y.王博士Millar，K.小岛K. 神经涡轮均衡：光纤非线性补偿的深度学习，J。光波技术38（11）（2020）3059[14] Y. 他，M。 Jiang，X. Ling角 Zhao，用于LDPC coded DCO-OFDM：A deep learning approach，IEEE Trans.Commun. 68（2）（2020）713-727。[15] N. 沙阿湾Vasavada，5G LDPC码的神经分层解码IEEE通信Lett. 25（11）（2021）3590[16] J. Dai，K.坦，加-地是的，K。牛，M. Chen，H.V. Poor，S.崔，原模图LDPC码的译码，IEEE J。选档地区Commun.39（7）（2021）1983=H（X）+E[日志i=1q（Ci|Y）][17] E. 纳赫马尼湖自回归置信传播解码block codes，2021，Preprint available at https：//arxiv. org/abs/2103.11780.M=H（X）+Elog q（Ci|Y）的i=1[18] M. Stark，F.Ait Aoudia，J. Hoydis，几何的联合学习和概率星座整形，在：Proc。IEEE Globecom研讨会，2019年，pp。1比6[19] H. 金，Y。Jiang，S.坎南S。哦，P. Viswanath，Deepcode：=H（X）+Mi=1m[∑cip（ci|Y）logq（ci|Y）]Feedback codes via deep learning，IEEE J. Sel. Areas Inf. Theory1（1）（2020）194-206.[20] E. Balevi，J.G.Andrews，基于自动编码器的纠错码-ingfor one-bit quantization，IEEE Trans. Commun.68（6）（2020）=H（X）−BCE（p（ci|Y），q（ci|Y）），i=1其中期望是关于pCm，X， Y的，BCE（p， q）是二进制交叉熵函数。因此，最小化BCE相当于最大化具有（13）中的决策度量的GMI。引用[1] T. O'Shea ， J.Ho ydi s ， Anint rod uc ti ontodee plea rn ingforthephysi c alla ye r ， IEEE Trans. 科 根Commun. 网络3（4）（2017）563[2] G. Caire，G. Taricco，E. Biglieri，比特交织编码调制，IEEETrans.INF. Theory 44（3）（1998）927[3] A. Martinez ， A. G. i Fabregas ， G. Caire ， F.M.J. Willems ，Bit-interleavedcodedmodulationrevisited：Amismatcheddecodingperspective，IEEE Trans. INF. 理论55（6）（2009）2756[4] S. Dörner，S. Cammerer，J. Hoydis，S. Ten Brink，Deep learningbasedcommunication over the air，IEEE J. Sel. Top.信号处理。12（1）（2018）132-143。[5] Y. Jiang， H. Kim，H.阿斯纳尼，西-地坎南S。哦，P. Viswanath，Turbo autoencoder：基于深度学习的点对点通信信道信道编码，2019，预印本可在https：//arxiv. org/abs/1911。03038.[6] H.他，S.金角，澳-地K.温氏F. Gao，G.Y. Li，Z. Xu，物理层通信的模型驱动深度学习，IEEE Wirel。Commun. 26（5）（2019）77-83。[7] S.帕克湖，澳-地Simeone，J. Kang，元学习通信：衰落信道的快速端到端训练，在：Proc. IEEE声学，语音和信号处理国际会议，ICASSP，2020年，pp. 5075-5079[8] Y. Zhang，H. Wu，M. Coates，关于ISI信道的任意速率的信道编码自 编 码 器 的 设 计 ， IEEE Wirel 。 Commun. Lett. （ 抢 先 体 验 ）（2021）.ES. H. Lim，J.汉，W。Noh等人ICT Express 8（2022）25333440-3451.[21] Y.M. Saidutta，A. Abdi，F.陈文，基于混合变分自编码器的噪声模拟信道联合信源信道编码，北京大 学 学报，2001。选档地区Commun.39（7）（2021）2000[22] K.- L. Besser，P. H. Lin，C.R. Janda，E.A. 约斯威克，窃听密码由神经网络自动编码器设计，IEEE Trans.Inf.ForensicsSecur. 15（2020）3374-3386.[23] N. Weinberger，泛化边界和学习算法，在加性噪声信道上通信，IEEE Trans.Info.理论（2021）1-36。[24] F. Alberge，AWGN信道的深度学习星座设计与附加雷达干扰，IEEE trans.commun。67（2）（2019）1413-1423。[25] 室温琼斯议员Yankov，D.Zibar，GMI操作的端到端学习最小化的几何星座形状，在：Proc。欧洲光通信会议，2019年，pp。一比四[26] S. Cammerer，F.A.奥迪亚，S。Dörner，M.Stark，J. Hoydis，S.Ten Brink，Trainable communication systems：Concepts andprototype，IEEETrans. Commun. 68（9）（2020）5489[27] K.P. Murphy，Machine Learning：A Probably Perspective，第二版ed.，麻省理工学院出版社，马萨诸塞州剑桥，2006年。[28] N.梅尔哈夫湾Kaplan，A. Lapidoth，S.王志文，“不匹配译码器的信息速率”，国立成功大学计算机工程研究所硕士论文，1994。[29] 3GPP，演进通用陆地无线电接入（E-UTRA）;无线电资源控制（RRC）;协议规范，技术规范（TS），第三代合作伙伴计划（3GPP）。[30] S. 约费角Szegedy，批量归一化：加速深度网络通过减少内部协变量偏移进行训练，见：Proc.InternationalConferenceOn Machine Learning，2015，pp. 448-456[31] A. Paszke等人，PyTorch：命令式风格，高性能深度学习库，在：Proc.神经信息处理系统的进展32，2019，pp. 8024-8035[32] I. Loshchilov，F. Hutter，Decoupled weight decay regularization，in：Proc。国际会议学习代表，2019，pp。一比八