通信方式的语义和目标导向

IEEE通信领域选择期刊，卷。41，不。2023年1月1日1客座编辑超越传输比特：上下文，语义学和面向任务的通信Deniz Gündüz，Fellow，IEEE，Zhijin Qin，Senior Member，IEEE，Inaki EstellaAguerri，Harpreet S. Dhillon，IEEE高级成员，Zhaohui Yang，Aylin Yener，IEEE研究员，Kai Kit Wong，IEEE研究员，Chan-Byoung Chae，IEEE我们很高兴与您分享这期特刊，它汇集了一系列不同的文章，涉及语义和目标导向的通信的各个方面，提供了这个高度活跃的研究领域的研究活动的快照。无线通信和网络研究传统上集中于提高底层无线网络的容量和吞吐量。然而，最近数据驱动的机器学习应用的爆炸式增长及其对边缘设备收集的庞大数据集的依赖引发了合理的担忧，即尽管正在努力提高其容量和效率，但不断增加的数据流量可能很快就会超过当前网络的容量。此外，大多数边缘智能应用施加了严格的延迟约束，这不能通过在接收器端处理的数据样本的简单转发这使得学术界和工业界的研究人员都清楚地认识到，分析所收集数据的“价值”或“相关性”，并根据其价值/相关性以及无线信道和网络条件过滤和优先传输数据至关重要。在这种情况下，数据值将与生成数据的底层信号和过程密切相关，例如，文本、图像、视频或传感器数据，以及接收器打算对接收到的数据做什么。数据价值的这种主观性使得语义和目标导向的通信成为一种相当难以捉摸的研究Deniz Gündüz就职于英国伦敦帝国理工学院电气与电子工程系，邮编：SW7 2AZ。（电子邮件：d. imperial.ac.uk）。Zhijin Qin是清华大学电子工程系的一名教授，中国北京100190（电子邮件：qinzhijin@tsinghua.edu.cn）。Inaki Estella Aguerri就职于亚马逊，28045 Barcelona，Spain（电子邮件：inaki. gmail.com）。Harpreet S Dhillon是无线@弗吉尼亚理工大学，布拉德利欧洲经委会，弗吉尼亚理工大学，布莱克斯堡，弗吉尼亚州24061美国（电子邮件：hdhillon@vt.edu）。Zhaohui Yang在浙江实验室工作，中国杭州311121，也在浙江大学信息科学与电子工程学院工作，中国浙江杭州310027，还在浙江省信息处理、通信与网络重点实验室（IPCAN）工作，中国浙江杭州310007（电子邮件：yang_zhaohui@zju.edu.cn）。Aylin Yener就职于俄亥俄州立大学电气和计算机工程系，地址：Columbus，OH 43210 USA（电子邮件：yener@ece.osu.edu）。Kai Kit Wong就职于英国伦敦大学学院电子电气工程系，邮编：WC1E6BT。（电邮：kai-kit. ucl.ac.uk）。Chan-Byoung Chae就职于韩国首尔延世大学综合技术学院（电子邮件：cbchae@yonsei.ac.kr）。本文中一个或多个图形的彩色版本可在https://doi.org/10.1109/JSAC.2022.3221853上获得。数字对象标识符10.1109/JSAC.2022.3221853这一专题不仅导致了日益丰富和活跃的调查领域，而且也是一个有争议的领域，主要原因是一些核心概念和提法缺乏明确和广泛商定的定义尽管存在这些分歧，但对于这一调查路线对未来通信系统和网络设计的重要性和潜在影响，几乎达成了一致意见。这期特刊的目的是通过吸引和发表现代语义和目标导向的通信网络设计的创造性方法，鼓励具有不同观点的研究人员进行讨论。我们相信，我们已经实现了这一目标，因为我们的征稿收到了社会的强烈反应：我们共收到55份意见书，其中17份已被接受发表。提交的论文数量之多清楚地表明，人们对这一研究领域的兴趣日益浓厚，所选论文的多样性和质量证明了过去几年取得的迅速进展。在嘉宾撰写的教程文章中编辑团队[A1]，与本特刊同名，我们概述了该领域研究的主要方法和挑战，但也试图提供一个通用和包容性的框架，以了解语义和目标导向通信中正在进行的研究工作和未来的挑战。为了强调为通信中的语义提供明确定义的困难，我们从历史的角度开始了这篇文章，强调这种探索可以追溯到几十年前，来自不同背景的知名研究人员已经进行了许多尝试。在简要总结了语义熵测度和知识图方法提取语义信息的研究之后，我们主要研究了面向目标的通信解释，其中语义被视为一种通用的失真测度，用于量化接收端的重构质量。然而，我们已经表明，这超出了传统的率失真问题，侧重于添加剂单字母失真措施，并涵盖远程推理问题，以及率失真与感知约束。然后，我们已经处理的语义通信噪声信道作为一个联合信源信道编码问题，再次与通用的保真度措施。对于率失真和联合信源信道编码方法，我们特别关注机器学习方法，以克服缺乏信源统计或通过数据驱动的0733-8716 © 2022 IEEE。个人使用是允许的，但转载/重新分发需要IEEE许可。参见https：//w ww。ieee.org/publications/rights/index.html获取更多信息。2IEEE通信领域选择期刊，卷。41，不。2023年1月1日的设计.我们试图将这些实用的方法与信息理论基础联系起来。虽然这些基本限制是基于各种理想化的假设，但为实现这些限制而衍生的编码和通信技术我们已经提供了一个全面的概述，这样的工具，信息瓶颈，它出现在各种多用户通信问题，并在远程推理问题。然后，我们介绍了务实/有效的沟通问题，其中的沟通发生在一个时间范围内，并涉及到一个时间敏感的重建措施。这导致不仅能够高保真，而且还能够通过无线信道及时重建信号，这也在语义/目标导向的通信问题和噪声信道控制之间建立了密切的联系。沿着我们的教程文章中所揭示的类别，本特刊中包含的其余文章可以分为三个领域：1）语义和目标导向的压缩和信号处理，2）语义和目标导向的联合源信道编码，以及3）实用/有效的通信。下文概述了每篇文章的贡献I. 面向语义和全局的压缩和信号处理在[A2]中，Zou等人考虑了接收器必须从感兴趣的信息源的量化版本执行任务的场景。该任务被建模为一个通用目标函数在一组量化参数上的优化，作者采用高分辨率分析，描述了标量情况下优化函数与其他参数之间的关系，并提供了多维情况下的近似。基于这些见解，提供了一个算法来设计实用的量化器。数值结果表明，所提出的算法的优势，传统的方法不计量化。分析还提供了洞察力的目标函数的规律性属性和量化其参数的难度之间的基本关系。鉴于图像在网络上传输的重要性，以及图像的丰富内容，使其适合各种各样的推理任务，以及各种失真和感知约束的重建在[A3]中，图像语义是指图像中存在的不同类别。因此，而不是专注于经典的图像重建指标，如峰值信噪比（PSNR）或结构相似性指数测度（SSIM），作者考虑了交集（IoU）的组合，它测量平均分割精度，对象检测损失，它测量重建图像上的对象检测任务的准确性，以及视觉损失，它测量原始和重建图像之间的均方误差在预训练模型的特征空间。由于这些任务是不可微的，因此，不能通过神经网络架构轻松反向传播，因此作者遵循一个基于递归学习的方法，其中比特预算以顺序方式在所捕获的语义概念之间分配实验结果表明，该方法可以重建视觉愉快和语义一致的图像在低比特率制度。在[A4]中，Lei等人关注渐进式图像压缩问题，同时考虑了率失真分类感知（RDCP）权衡。特别地，目标是使重构图像在下游推断任务中同时实现高视觉质量和高性能。作者提出了一种使用深度神经网络的基于潜伏期的速率自适应图像压缩算法，该算法学习了一种结构化的潜伏表示，可以在资源有限的情况下提供速率和上下文自适应。接下来的两篇文章考虑视频压缩问题。设计面向语义和目标的视频压缩算法可能会产生重大的潜在影响，因为视频内容在当今的移动数据流量中占据主导地位，并且预计这只会随着无线边缘的增强现实（AR）和虚拟现实（VR）应用的引入而增长。在[A5]中，作者提出了一种实时视频分析系统，该系统利用监控摄像机的丰富上下文信息，通过语义压缩来减少带宽消耗。该方法以最小的系统开销在边缘服务器上动态维护视频的背景图像，并通过自适应加权和编码仅将高度置信的感兴趣区域发送到云。通过轻量级的经验驱动学习模块，所提出的解决方案即使在以下情况下也能够实现高离线推理精度：出现网络拥塞另一篇关注目标导向视频压缩的文章是[A6]，其中Tandon等人关注视频授予应用。作者开发了一种低比特率的编解码器，在发送端将语音转换为文本，在接收端重构视频。特别地，Txt2Vid模型通过仅发送短视频作为驾驶视频和通过在发送器处的语音识别获得的文本来提出。基于用户ID和由接收到的文本生成的讲话头部区域的嘴唇来重构视频所开发的方案可以减少网络流量的两到三倍，而不会降低重建质量的主观评价。在[A7]中，Kalfa等人提出了一种用于具有内在语义噪声的图信号的语义信息提取框架，该框架由原始语义提取器、语义保真度控制块、属性跟踪、信号平滑和信号跟踪组成。所提出的方法提供可靠的语义输出，并使有效的方法识别语义创新，同时过滤掉语义噪声。所提出的方法的性能进行评估，通过仿真和现实世界的计算机视觉的例子。II.SEMANTIC和 GOAL-O认证通讯O VER WIRELESS CHANNELS虽然上述文章主要集中在压缩和语义通信的信号处理方面，下面的一组文章将信道噪声考虑在内，并设计认识到底层信号的语义的面向目标的IEEE通信领域选择期刊，卷。41，不。2023年1月1日3第一篇文章在这个小组主要集中在分布式推理问题在嘈杂的渠道。在[A8]中，Kim等人考虑了噪声信道上分布式分类的资源分配问题，重点关注分布式提升分类器。提升分类算法通过在基本分类器的输出中进行加权投票来做出最终决定。然而，当基本分类器在无线信道上传送它们的投票时，信道噪声可以降低最终分类精度。作者认为，在这种情况下，基础分类器通过共享的无线信道通信他们的投票，并制定了资源分配问题，考虑到基础分类器的重要性和可用的资源预算。这提供了一个面向目标的通信的很好的例子，其中目标是提高最终的分类精度，而不是可靠地恢复单个传输的比特。 它的结论是，更多的系统资源应分配给更重要的基分类器，以尽量减少噪声引起的分类退化。在[A9]中，Mu等人考虑了多用户通信问题，其中接入点向两个不同的用户发送语义和传统的基于比特的信息。语义传输的性能是衡量的语义率，这取决于语义相似性的封闭形式的表征是不可用的。作者克服了这一挑战，通过一个广义逻辑函数通过数据回归方法近似语义相似性。为了实现语义和基于比特的信息的同时传输，考虑了三种多址接入方案，即正交多址接入（OMA）、非正交多址接入（NOMA）和半NOMA。这些方案的性能的特征在于通过SvB率区域，它包括所有可实现的语义和比特率对，和功率区域，它确定最小发射功率，以实现目标语义和比特率。分析表明，半NOMA优于OMA和NOMA。其中几篇文章专门关注无线图像传输，并提出了超越低PSNR图像重建的语义通信技术。在[A10]中，Zhang等人考虑了面向目标的图像传输，其中发送器不知道在接收器处执行的底层机器学习任务，并且数据分布可能是动态的。接收器有一个有限的反馈回路与编码器，作者提出了一个基于神经网络的通信方案，包括两个主要部分，即语义编码网络和数据自适应网络。语义编码网络包括用于语义数据压缩的编码器和用于接收器处的信息恢复的解码器，并且使用接收器引导的训练过程来学习如何提取和发送语义信息。第二部分是部署在设备上的生成对抗网络，该网络使用来自迁移学习的域适应技术进行数据适应，以学习如何将观察到的数据转换为语义编码网络可以处理而无需重新训练的经验数据的类似形式。数值实验表明，该方法能够适应动态数据集，同时在数据恢复和任务执行性能之间保持灵活的平衡。在[A11]中，Kang等人考虑了由无人机（UAV）获得的感测图像的传输，并且开发了具有基于主题-关系-对象三元组的场景图的能量高效的面向任务的语义图像传输框架。设计了一种基于用户兴趣的个性化语义编码器，以满足个性化显著性要求，并以最小的能量代价。一个资源分配方案也开发了一个动态信道环境中的多用户场景。在[A12]中，作者引入了语义切片模型（SeSM）的概念，以实现语义感知的无线图像传输。特别地，语义服务质量被提出作为语义通信系统的新的性能度量，并且SeSM被用于提供自适应重构和感知质量。所提出的方法的性能进行了研究，在存在反馈的压缩和联合信源信道编码问题。所开发的系统相比，与其他替代品，通过数值模拟。视频内容的联合信源信道编码由以下两篇文章研究。在[A13]中，Wang等人研究了无线信道上的深度联合信源信道编码，重点是视频传输。提出的方法利用非线性变换和条件编码架构来自适应地提取跨视频帧的语义特征，并通过深度联合信源信道编码在无线信道上传输语义特征域表示提出了一种新的速率自适应传输机制，该机制学习在视频帧之间分配有限的信道带宽，以最大限度地提高端到端性能。在标准视频源测试序列和各种通信场景下的实验表明，该方法在总体上优于传统的无线视频编码传输方案。在[A14]中，Jiang等人探索了用于视频会议的无线语义通信。 它是启发通过以下事实，即在视频会议中，由于背景几乎是静态的并且扬声器不频繁改变，所以对象的运动可以由几个关键点来表示。因此，代替传输整个视频，可以与接收器共享源图像，然后仅传输对应于每帧的关键点。虽然这个问题的源编码方面进行了很好的调查，本文侧重于传输错误的影响在关键点上。传输误差导致重构视频中的表达变化，而不是传统方法中的像素完全丢失。 作者提出了一种增量冗余混合自动重传请求框架（SVC-HARQ），它采用了一种新的语义错误检测器。作者还探讨了使用信道状态信息进行有效的关键点传输，这被证明可以提高性能。Han等人在[A15]中研究了用于在无线信道上传输语音信号的语义通信系统，其使用文本相关表示作为目标。基于注意力的软对齐模块用于提取与文本相关的语义特征，而语音重建模块用于从文本中恢复语音，其中具有关于持续时间、音高、功率和说话人识别的有限附加信息。最终4IEEE通信领域选择期刊，卷。41，不。2023年1月1日语义校正模块用于利用来自预训练语言模型的语义知识来校正接收到的文本。通过数值仿真验证了该方法在文本识别性能和语音恢复方面的有效性。下一篇文章是一个很好的例子，说明深度联合信源信道编码方法在传统信源传输之外的有效性。在[A16]中，Xu等人提出了用于信道状态信息（CSI）反馈任务的深度联合信源信道编码框架。特别是，一个非线性变换的方法来压缩CSI和信噪比（SNR）的自适应机制，提出了自适应无线信道的变化。已提供了广泛的模拟结果以验证所开发的方案。多用户网络上的计算可以被认为是另一种类型的最终目标，它超越了点对点的面向目标的通信。在[A17]中，Lin等人研究了必须更新其状态的设备处的本地状态信息的聚合问题。这是分布式优化中的关键操作，其涉及分布式网络中的公共功能的优化，并且通常由于需要交换的大量消息而遭受通信瓶颈。为了缓解这个问题，作者提出了分布式的空中计算，利用同时多播波束成形和模拟波形叠加的多路访问信道。他们考虑了两个设计标准。第一个是最小化相对于期望的平均函数值的和均方误差（MSE）。通过将非凸波束形成问题转化为等价的凹凸分式规划，并将凸规划嵌套到对分搜索中来求解，提出了一种有效的解决方案。第二个标准，称为迫零（ZF）多播波束成形，是强制在设备处接收的空中聚合信号等于期望的函数值。 在这种情况下，最优波束形成允许封闭形式。他们分析了收敛性，并表明ZF波束形成优于MSE设计，由于后者的次梯度估计的偏差。仿真结果表明，所提出的解决方案也受益于加速收敛，大大减少了通信延迟。III.情感/情感C.惩戒虽然所有上述文章主要关注于使用某种面向语义的重建措施重建底层源信号，但在[A18]中，Meng等人考虑了时间范围内的轨迹优化。物理世界中的设备与它们在虚拟实境中的数字模型之间的同步至关重要。本文提出了一种采样、通信和预测协同设计框架，以最小的通信负载同步现实世界中设备的轨迹及其在虚拟实境中的数字模型。为了优化采样率和预测范围，作者利用专家知识并开发了一种受约束的深度强化学习算法。该框架在由真实世界的机械臂及其数字模型组成的原型上进行了验证作者还表示，在专家知识的辅助下，该算法减少了收敛时间、通信量和平均跟踪误差。一个常识客座编辑要感谢所有作者的投稿，以及所有匿名评论者的深刻评论和问题，这些评论和问题为这期特刊的高质量做 出 了 贡 献 。 客 座 编 辑 还 感 谢 Raouf Boutaba ， PetarPopovski ， Larry Milstein 和 Janine Bruttin 提 供 的 大 力 支持，这为本期特刊的成功做出了贡献附录： 重新制定规则[A1]D. Gündüz等人，“Beyond transmitting bits：Context，semantics，and task-oriented communications，”IEEE J. Sel. Areas Commun. ，2022，doi：10.1109/JSA.2022.3223408.[A2]H. Zou，C. Zhang，S.拉索尔斯湖Saludjian和V. Poor，“目标导向量化：分析、设计和资源分配应用”，IEEE J. Sel. Areas Commun. ，2022，doi：10.1109/JSAC.2022.3221976.[A3]D. Huang ， F. Gao ， 黄 毛 菊 X. Tao ， Q. Du 和 J. Lu ， “Towardsemantic communications ： Deep learning-based image semanticcoding” ， IEEE J. 选 档 地 区 Commun. ， 2022 ， doi ：10.1109/JSAC.2022.3221999.[A4]Z. Lei，P. Duan，X. Hong，J.F. C. Mota，J. Shi和C.- X. Wang，“Progressive deep image compression for hybrid context of imageclassification and reconstruction”，IEEE J.Sel. Areas Commun. ，待出版，doi：10.1109/JSAC.2022.3221998。[A5]H. Wang等人，“VaBUS：通过背景理解和减法进行边缘云实时视频 分 析 ” ， IEEE J. Sel. Areas Com- mun 。 ， 2022 ， doi ：10.1109/JSAC.2022.3221995.[A6]P. Tandon等人，“Txt2Vid：Ultra-low bitrate compression of talking-head videos via text，”IEEE J. Sel. Areas Commun. ，2022，doi：10.1109/JSAC.2022.3221953.[A7]M. Kalfa等人，“Reliableextractionofsemanticinformationandrateofinnovationestimationfor graph signals ， ”IEEE J. Sel. Areas Commun. ， 2022 ， doi ：10.1109/JSAC.2022.3221950.[A8]Y. Kim，J. Shin，Y. Cassuto和L. R. Varshney，“Distributed boostingclassifiers over noisy communication channels”，IEEE J. Sel. AreasCommun. ，2022，doi：10.1109/JSAC.2022.3221972.[A9]X. Mu，Y.刘湖Guo和N. Al-Dhahir，“异构语义和比特通信：半NOMA 方 案 ” ， IEEE J. Sel. Areas Commun. ， 2022 ， doi ：10.1109/JSAC.2022.3222000.[A10]H. Zhang，S. Shao，M. Tao，X. Bi和K. B. Letaief，“Deep learning-enabledsemanticcommunicationsystemswithtask-unawaretransmitter and dynamic data” ， IEEE J. Sel. Areas Commun. ，2022，doi：10.1109/JSAC.2022.3221991.[A11]J. Kang等人，“Personalized显着性在面向任务的语义通信：图像传输 和 性 能 分 析 ， ”IEEE J.Sel.Areas Commun 。 ， 2022 ， doi ：10.1109/JSAC.2022.3221990.[A12]C. Dong，H. Liang，黄毛菊X. Xu，S. Han，B. Wang和P.Zhang，“基于语义切片模型传播的语义通信系统"，”IEEE J.Sel.AreasCommun. ，2022，doi：10.1109/JSAC.2022. 3221948.[A13]S. Wang等人，“Wireless deep video semantic transmission，”IEEE J.Sel. Areas Commun. ，2022，doi：10.1109/JSAC.2022.3221977.[A14]P. Jiang，C. K. Wen，S. Jin，G. Y. Li，“用于视频会议的无线语义通信 ” ， IEEE J.选 档 地 区 Commun. ， 2022 ， doi ：10.1109/JSAC.2022.3221968.[A15]T. Han，Q. Yang，Z. Shi，S.他和Z。Zhang，“语义保持的高效语音传输 通 信 系 统” ， IEEE J 。 选 档 地 区 Commun. ， 2022 ， doi ：10.1109/JSAC.2022.3221952.[A16]J. Xu ， B. Ai ， N. Wang 和 W. Chen ， “Deep joint source-channelcoding for CSI feedback：An end-to-end approach”，IEEE J. Sel. 地区Commun. ，2022，doi：10.1109/JSAC.2022.3221963.[A17]Z. Lin，Y. Gong和K. Huang，“Distributed over-the-air computing forfast distributed optimization：Beamforming design and convergenceanalysis” ， IEEE J. Sel. Areas Commun. ， 2022 ， doi ：10.1109/JSAC.2022.3223661.[A18]Z. Meng ， C. 她 ， G 。 Zhao 和 D. De Martini ， “Sampling ，communication，and prediction co-design for synchronizing the real-world device and digital model in metaverse” ，IEEE J. Sel. AreasCommun. ，2022，doi：10.1109/JSAC.2022.3221993.