太阳能资源分配的深度Q学习方法在认知无线电网络中的应用

⃝可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 7（2021）49www.elsevier.com/locate/icte认知无线电网络中基于深度Q学习的太阳能用户资源分配Hoang Thi Huong Giang，Pham Duy Thanh，InsooKoo蔚山大学电气电子计算机工学系韩国蔚山接收日期：2020年11月29日;接收日期：2021年1月28日;接受日期：2021年1月28日在线预订2021年摘要本文考虑了上行链路太阳能供电的认知无线电网络（CRN），其中多个次级用户（SU）通过共享主系统的许可信道向次级基站（SBS）发送数据。提出了一种结合非正交多址（NOMA）和时分多址（TDMA）技术的深度Q学习（DQL）算法，以最大化系统的长期吞吐量。通过使用我们的方案，智能体（即SBS）可以通过与环境的交互来获得最优决策学习系统动力学仿真结果验证了该方案与传统方案相比的性能优越性。c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：NOMA;能量收集;最大化吞吐量;深度Q学习;功率分配1. 介绍第五代（5G）网络需要高效的使能技术来适应无线通信中对高频谱效率和高数据速率的日益增长的要求。因此，无线传输和移动网络技术的巨大发展导致了过去几十年对资源的需求激增。学术界和工业界一直在开发有效的资源管理方法，以实现新兴移动互联网的有效频谱利用[1]。具体而言，网络虚拟化[2]和软件定义网络（SDN）[3]被认为是提高网络效用的关键技术，可以提高数据速率，更好地利用资源，降低运营成本。此外，认知无线电（CR）和NOMA已被认为是允许次级用户共享许可这项工作得到了韩国国家研究基金会（NRF）通过韩国政府（MSIT）资助的支持，资助号为NRF-2018 R1 A2 B6001714和2021 R1 A2 B5 B01001721。∗ 通讯作者。电子邮件地址：huonggiangtdt@gmail.com（H.T.H.Giang），duythanhtdtk12@gmail.com（P.D.Thanh），iskoo@ulsan.ac.kr（I.Koo）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.01.008频谱频段，以提高频谱效率和解决资源稀缺问题[4，5]。存在几种传统的多址方案，例如TDMA、正交频分多址（OFDMA）和码分多址（CDMA），以避免用户之间的干扰。然而，由于移动设备数量的快速增长，这些方法可能无法满足需要接入无线通信系统的用户的需求。因此，NOMA正在成为5G网络的关键原则用于设计多址方案，因为它允许多个用户同时使用相同的频率资源[6]。基本上，NOMA技术分为两种类型：码域和功率域。本文在分析了现有文献的基础上，我们集中在功率域，其中多个用户被分配使用相同的频率和时间资源用于其数据传输。特别地，多个用户的信号被叠加以在相同的资源上发送，并且执行连续干扰消除（SIC）以解码用户许多关于NOMA方案的研究工作已经在不同的通信系统中进行了研究，例如工业物联网（IIoT）[8，9]，机器对机器通信[10，11]和协作通信[12，13]。2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。H.T.H. 江县Thanh和我。辜ICT Express 7（2021）4950然而，在现实中，NOMA的缺点之一是，一个大规模的NOMA使能的通信系统可能会在接收机处产生高计算复杂度。此外，在设计优化方案时，大量用户应用NOMA将显著降低系统的性能[14]。实际上，如果NOMA由组中的少量用户复用，则它可以很好地工作[15]。因此，提出了不同多址技术的组合[16，17]。在这些研究中，作者提出了混合NOMA和OMA算法，其中用户在NOMA和OMA模式之间切换，以提高网络性能。此外，还研究了NOMA与CR网络的集成，以应对5G挑战，例如频谱效率和大规模连接[18作者在[18]中设计了一种分类法，根据操作范例、目标、技术和优化特征对文献进行分类。同时，利用随机几何方法推导出了大规模认知网络中断概率的闭式表达式[19]。为了提高主网络和辅网络的性能，作者在[20]中提出了NOMA在协作组播CRN中的应用。Xu等人[21]研究了认知OFDM-NOMA的最佳感知持续时间自适应、匹配理论用户调度和功率分配，以提高系统容量。随着移动设备的快速发展，能源管理也是一个至关重要的问题。有很多提出了基于模型的资源分配方案，以提高NOMA系统中的EE或其他目标。文献[22]研究了功率分配问题，文献[23]提出了联合子载波分配和功率分配算法。然而，这些传统的方法需要完整的网络信息，并导致高计算复杂度，甚至不适用，在实践中。为了解决这个问题，几项研究已经应用了无模型深度学习来降低可用训练数据的计算复杂度。Gui等人。[24]和Liu等人。[25]通过使用神经网络首先使用模拟数据进行离线训练，然后通过经过良好训练的网络输出结果来研究资源分配问题。然而，很难获得正确的数据集或最优解，并且训练过程通常很耗时。对于上述问题，深度强化学习（DRL）[26]已经成为实时决策问题的可行选择，因为系统模型的要求和对先验数据被显著放宽。DRL不是仅优化当前效益，而是能够生成最佳决策策略，通过与环境的试错交互来最大化系统的长期性能。深度Q学习被认为是最著名的DRL方法之一，它应用了深度Q网络（DQN），该网络在传统的强化学习（RL）中使用深度神经网络。如今，DRL已从许多方面得到广泛应用，例如NOMA系统[27]、异构网络[28]和物联网系统[29]中的功率分配。近年来，增强自我可持续性的最有效方法之一是为无线设备配备可充电电池。能够收集环境能量以实现长期操作的电池。有许多来自许多自然资源的能量收集方法可以提高无线用户的寿命，例如太阳能[30，31]，风力[32]和火力[33]。在各种类型的能量收集资源中，太阳能被认为是无线用户最有效的来源之一然而，其有效性高度依赖于环境。出于这个原因，重要的是确定适当的方案以有效地利用无线通信网络所收集的能量。Thanh等人。[30]提出了一个部分可观察马尔可夫决策过程（POMDP）的框架，以将最佳频带和最佳发射功率分配给太阳能认知用户。为了进一步提高性能，在NOMA系统中研究了其他技术[34Ding等人[34]引入了NOMA功率分配，通过对具有不同信道条件的用户进行分组来获取高总和数据速率。资源分配算法设计被公式化为非凸优化问题，其中作者考虑了信道状态信息以及服务质量（QoS）约束[35]。此外，Li等人采用DQN来应对未知系统动态的挑战，并在不干扰主传输的情况下最大化从次系统成功传输的数量[36]。此外，还提出了包括TDMA和NOMA技术的混合接入机制[37，38]。在[37]中，提出了一种动态分簇方法来增加系统吞吐量和平衡功耗，并且[38]中的作者研究了一种在最小速率和最小能量收获约束下为用户最小化传输功率的功率分配和功率分割比分配方法。在上述工作中，作者在[37]中提出了用于机器对机器通信的基于混合TDMA/NOMA的动态集群，以提高机器的能量效率、吞吐量和寿命。然而，没有考虑能量收集为了促进无线通信，A1-Obiedollah等人在[38]中通过使用从射频信号中收集的能量来研究混合TDMA/NOMA方案，以最小化发射功率。他们利用序贯凸逼近方法来处理最小化问题的非凸性。为了提高无线电频谱和能量利用效率，作者在[30]中提出了POMDP方案，以最大化太阳能CRN的长期保密率。然而，该方法需要能量收集分布的先验信息，这是不容易获得的，在实际情况下。受上述分析的启发，在本文中，我们专注于通过使用基于NOMA/TDMA的深度Q学习方案在没有能量收集分布的先验知识的情况下最大化太阳能二次系统的长期吞吐量，其中二次用户可以机会主义地使用主用户的许可信道因此，通过采用深度Q学习算法，系统能够在训练后从与环境的试错交互中获得最优策略。本文的主要贡献概括如下H.T.H. 江县Thanh和我。辜ICT Express 7（2021）4951∑√=N=在=|{}{}∈∈图1.一、 所考虑的网络模型。首先，我们研究了上行链路NOMA CRN，其中多个次级用户的目标是将他们的数据传输到次级基站（SBS），并且其中次级用户能够收集太阳能以用于自我维持。此外，我们还考虑了次系统通过协作频谱感知确定主系统状态时的感知误差。其次，我们提出了一种基于NOMA/TDMA的深度Q学习方法来最大化次级系统的长期吞吐量，其中深度神经网络（DNN）用于近似每个状态-动作对的值函数。在整个训练阶段中，所提出的方案没有关于次级用户的收获能量分布的先验信息。相反，可以学习能量信息，然后通过与环境的试错交互来实现最佳决策策略。通过数值模拟进一步分析了网络参数变化对系统性能的影响，并根据不同的网络参数对所提方案和传统方案进行了性能比较。本文的其余部分组织如下。第2节描述了系统模型。第3节中给出了问题公式。在第4节中提出了用于功率分配的DQL算法。模拟结果在第5节中讨论。最后，我们在第6节结束了本文。2. 系统模型示于图1.一、每个SU都配备了一个能量收集电路，可以收集太阳能供其长期运行。我们假设SU总是有数据要传输到SBS，并且它们可以在整个时间范围内同时收获能量，同时进行其他分配的动作。因此，当PU不活动时，它们通过应用联合NOMA和TDMA技术，机会性地利用主系统的许可信道将它们的数据发送到SBS。为此，在本文中，SBS根据传统的远近用户配对技术[ 39 ]将SU组装成对两个用户）。专家组特别Gn{SU1n，SU2n}是第n个NOMA群，2个SU，SU1n和SU2n，如图1所示。NOMA组中的每个用户可以通过使用NOMA技术同时发送数据，并且在SBS处应用来自[7]的SIC以解码每个次级用户的接收信号每个组在整个时间帧期间依次执行数据传输，使得每个组之间不存在干扰。系统的每个时间帧分为两个阶段（传感和数据传输），如图所示。二、 在本文中，我们采用合作频谱感知，其中的全局感知结果是由SBS产生。在第一阶段，在持续时间为ts的情况下，所有SU在其本地区域中同时执行频谱感测，然后将其本地结果通知SBS。此后，SBS通过应用来自[40]的组合规则来确定关于主信道的状态（空闲或占用）的全局感测结果随后，传输功率电平被分配给所有SU用于它们的数据传输。结果，每个NOMA组中的SU可以基于所分配的发送功率在主信道上向SBS发送它们的数据，而不会引起与其他组的干扰。具体地，通过采用TDMA，每个时间帧被划分为N个相同的时隙，NOMA组的数量。随后，每个NOMA组分 别 在 其 分 配 的 时 隙 中 发 送 数 据 ， 持 续 时 间 为 t TrTtot−ts，其中T tot是时间帧持续时间，t s是频谱感测持续时间，并且N是NOMA组的数量。所考虑的网络模型的操作如图所示。二、由第n个组发送的SBS处的接收信号Gn可以如下给出2yn（t）=Pin （ t ） hin （ t ） xin （ t ） +z ，（1）i=1其中P in（t） e Tr（t）t Tri1，2，n1，2，. . .，N是分配给NOMA组n的第i个SU的传输功率在时间帧t中;xin（t）表示SUin的归一化信号，（E）|xin（t）|2}=1）;hin（t）=gin（t）di−nκ表示信道2.1. 网络模型本文研究了一种上行链路CRN，其中多个次级用户试图通过使用主系统的许可信道向SBS发送数据。特别地，网络由SBS和SU组成，因为时间帧t中SUin和SBS之间的增益，其中g_in（t）是遵循瑞利分布的信道系数，d_in表示SU_in与SBS之间的距离，并且κ和z分别是路径损耗系数和具有零均值和方差σ2的SBS上的全部接收信号在时间上···H.T.H. 江县Thanh和我。辜ICT Express 7（2021）4952∑在≥在------avg1N|联系我们Ttot1+P2n（t）Γ2n（t）Ttota（t）∈An=I=112112221N2N在SUin的任务能量;ε112112221N2N0

下载后可阅读完整内容，剩余1页未读，立即下载