毫米波波束形成系统的低开销高分辨率多波束跟踪

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7（2021）28www.elsevier.com/locate/icte毫米波波束形成系统的低开销高分辨率多波束跟踪Seonyong Kim，Girim KwonKim，Hyuncheol Park大韩民国大田韩国高等科学技术学院电气工程学院接收日期：2020年12月7日;接收日期：2021年1月28日;接受日期：2021年1月28日在线预订2021年摘要在毫米波通信中，具有精确角度信息的波束形成技术对于克服高路径损耗和抑制干扰起着关键作用。特别是对于多个移动站（MS），在没有任何动态模型知识的情况下精确的多波束跟踪是具有挑战性的。在这方面，我们提出了无模型的多波束跟踪算法相结合的Q-学习和辅助波束对的角度估计在多MS环境。该方案具有低导频开销和高分辨率角度估计的优点.仿真结果表明，该方案的有效和速率优于传统方案。c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：毫米波通信;移动性;波束跟踪; Q学习;辅助波束对1. 介绍毫米波（mmWave）通信是包括车辆网络以及蜂窝网络的5G移动通信系统的关键技术[1为了克服毫米波信道的高路径损耗，使用大量天线来获得高波束成形（BF）增益，这对性能具有显著影响，这取决于波束方向信息的准确性，因为波束宽度变得尖锐。此外，移动台（MS）的移动性可能导致基站（BS）和MS之间的波束失准，这导致相当大的性能下降。因此，需要精确的波束跟踪算法，以防止在信道快速变化时mmWave链路断开。先前已经有几项关于估计和跟踪算法的工作，以获得毫米波系统的准确波束或转向角信息。在[4]中，Zhu等人提出了基于辅助波束对（ABP）的角度估计算法∗ 通讯作者。电子邮件地址：1995118@kaist.ac.kr（S.Kim），girim88@kaist.ac.kr（G.Kwon），hcpark@kaist.ac.kr（H.Park）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.01.014该方法通过全波束搜索，利用相邻两个接收信号强度（RSS）最大的正交波束，在高信噪比（SNR）区域工作良好。然而，随着波束宽度变得更尖锐，对所有波束方向的完全搜索可能导致大的开销。此外，基于ABP的方案在加性噪声和多MS环境下可能遭受严重的性能损失。另一方面，对基于卡尔曼滤波的跟踪算法进行了广泛的研究[5在[5]中，Va等人提出， 移动毫米波通信系统中基于扩展卡尔曼滤波（EKF）的条件波束跟踪算法。该算法需要接收信号作为扩展卡尔曼滤波的测量量来跟踪波束转向角。在我们以前的工作[6]中，提出了结合ABP和EKF的波束跟踪算法。具体地说，修改ABP结构，以克服不正确的ABP选择，并在估计过程中计算的度量作为EKF的测量。在[7，8]中，考虑了时变信道环境的自回归（AR）或自回归移动平均（ARMA）模型。然而，这些基于卡尔曼滤波的算法需要动态模型的信息，如状态转移模型和过程和观测噪声的协方差。此外，在[9]中，通过使用信道的时间变化，提出了基于码本的波束跟踪算法。即使这些2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S. Kim，G.Kwon和H.公园ICT Express 7（2021）2829=-√∑公司简介·∈·∈波束跟踪算法可以减少波束训练的开销，它们需要动态信道模型的知识。这对于许多现实环境是不切实际的[10]。为了解决这一限制，最近，基于Q学习[11]、深度Q网络（DQN）[12]和元强化学习[13，14]的机器学习（ML）方法已经被提出用于动态环境中的无线通信系统。特别地，针对毫米波波束成形系统提出了基于Q学习的波束跟踪方案[15]。Q学习是一种无模型强化学习技术，它使用了来自环境的经验，测量和奖励的概念。然而，由于离散化，可能会发生不可避免的性能损失。用于跟踪波束转向角的动作空间本文针对移动环境下的波束跟踪问题，提出了一种结合Q学习和改进ABP的无模型波束跟踪算法。该算法在没有动态模型信息的实际情况下跟踪到达角和离开角，并估计相应的路径增益。此外，通过组合高分辨率角度估计器，跟踪连续波束转向角是可能的。与现有的基于全波束搜索的ABP角度估计器进行ABP选择相比，该算法具有通过利用基于Q学习的粗略波束跟踪，仅搜索几个波束方向的开销较低。仿真结果表明，该算法能够以较低的开销准确估计连续变化的角度我们的初步工作在[16]中介绍。本文的主要贡献归纳如下。我们将系统模型推广为具有MS间干扰的多MS毫米波系统。所提出的波束跟踪算法被扩展到多波束跟踪过程，具有减轻每个MS的并行波束跟踪的干扰的能力。我们修改了基于Q学习的算法的动作集[15]。在[15]中，动作元件被设计为总是改变发射或接收波束。这可能导致不同光束之间的振荡，即使当信道不变化时也是如此。为了避免这个问题，提高波束跟踪性能，我们增加了另一个Fig. 1. 具有单个BS和MS的毫米波BF上行链路系统。BS和每个MS分别具有M个和N个天线。假设信道在一个帧期间是静态的。时域帧结构由波束训练、反馈和数据传输周期组成。我们在本文中使用以下符号：A是矩阵;a是向量;a是标量;（·）T和（·）*分别表示转置和共轭转置。E[·]表示期望;|χ |表示集合χ的基数。2. 系统模型在本节中，我们描述移动环境中的毫米波多输入多输出（MIMO）上行链路系统。2.1. 信道模型我们考虑具有图1中的收发器结构的窄带毫米波BF系统。配备有M个接收天线和N个RFRF链的BS接收到U个MS的ND 个数据流，每个MS配备有N个发射天线和单个RF链。我们假设NRFNDU。在毫米波信道中，由于高频信号的大路径损耗和高度定向性，路径的数量非常有限。从第u个MS到BS的毫米波MIMO信道用路径增益、MS处的出发角（AoD）和到达角（AoA）来参数化。对于t = 1，. . . ，T如下，不改变光束方向的动作我们显示了该方案的优越性，在有效的可实现的和率，其中包括训练开销。为此，我们提出了框架Hu[t]=吕南铭Lul=1αu， l[t]a（φu，l[t]）一个新的（θu， l[t]），（1）所提出的方案的结构，包括波束训练和数据传输周期。利用有效的可达和速率，我们证明了该方案在实际中的性能优于现有的方案。本文的其余部分组织如下。 在第2节中，我们描述了系统模型。在第3节中，我们其中，Lu是第u个MS之间的路径的数量，BS，αu， l[t]（ 0， 1）是复随机路径增益，φu， l[t]和θu， l[t]分别是第u个MS的第l条路径的AoA和AoDatx（）CN×1和atx（）CM×1分别是发射和接收阵列响应向量。假设发射端和接收端均为半波长均匀线阵。天线发射机的阵列响应矢量表示为：提出了波束跟踪算法。在第4节中，我们介绍a（θ[t]）=1[1，e j 2 πdtx sin（θu，l [t]），. . . ，e j2 π（N −1）dtx sin（θu，l [t]）]T，模拟结果。最后给出了结论。第5款.TXu， lNλλ（二）···S. Kim，G.Kwon和H.公园ICT Express 7（2021）2830（）下一页λ（）下一页（）[t]dsinφ[t]. 考虑到MS的移动性yu，lu，l（）[]=txu，lφθNN=（∑u{|联系我们|∈|W|S={} ∈2=∈||==∈ ∥ ∥={uuφθ1Uu[编辑]其中λ是对应于操作载波频率的波长，并且dtx是发射机处的相邻天线元件之间的距离。也可以用同样的方式写一个φu， l[t现在我们通过使用发射空间频率μu， l[t]<$2πdtx sinθu，l [t]重写（2）如下，1Taµ[t]1，e jµu，l [t]，. . . ，e j（N−1）µu，l [t].（三）N类似地，接收端的阵列响应向量可以通过使用AoAφu， l [t]和接收空间频率来2πλ如无人机和无人机在空中网络，我们假设BS和MS之间的信道由视线（LOS）路径支配[17]。 单路毫米波通道图二. 用于不同波束跟踪方案的帧结构。该方案包括粗波束跟踪阶段和高分辨率角度估计阶段。一帧内的训练开销包括导频传输和反馈传输。在时间k的接收信号，对于（t−1）TF+TBT+TFB+ 1≤k≤t TF，如下所示，与Lu=1 表示为[5，6，18]yd[k]=W[t]（∑UHu[t]fu[t]·xd[k]+n[k]）、（九）Hu[t]=<$NMαu[t]a<$（<$u[t]）a<$tx（μu[t]），（4）uu=1其中路径索引L被丢弃。此外，我们采用高斯过程噪声模型用于AoA和AoD随时间的演变[18]，其由下式给出：φu[t+1]=φu[t]+φ，u[t]，（5）θu[t+1]=θu[t]+θ，u[t]，（6）其中，φ，u[t]和θ，u[t]是零均值高斯噪声，在一个时隙中，分布为（0，σ2）和（0，σ2），AoA和AoD变化分别为σ2和σ2路径增益的演化模型由一阶高斯-马尔可夫模型给出αu[t+1]=ραu[t]+εα，u[t]，（7）其中ρ为相关系数，ε[t]为零均值其中xd[k]是导频符号，例如Exd[k]21。接收BF矩阵W[t][w1[t]，，wU[t]]，并且每个使用在波束训练周期中估计的AoA和AoD信息来设计发射BF向量fu[t3. 提出的波束跟踪算法在本节中，描述了BS和单个MS之间的单个链路的基本波束跟踪原理。我们的波束跟踪算法包括两个阶段，即，基于Q学习的粗波束跟踪和基于高分辨率角度估计的改进ABP，如图所示。二、在此基础上，利用连续干扰消除（SIC）技术复高斯噪声分布为2.2. 接收信号模型α，uCN（0，（1 −ρ）2）。法3.1. 阶段1：使用Q学习进行在波束训练时段中，接收到的时间处的导频信号k，其是累积时间索引，为（t−1）TF+ 1≤k≤（t−1）TF+TBT，合并后可以表示为为了简单起见，我们首先考虑单MS系统，其中MS索引u被省略。用于波束跟踪的Q学习的组件如下[15]。状态空间yp[k]=W[k]Uu=1Hu[t]fu[k]·xp[k]+n[k]），（8）定义为集合（fn，wm），n，m，其中n1，. . . ，和m1，. . . 分别是发送和接收波束索引。动作空间被定义为设置A={发送波束索引±1，接收波束索引±1，其中yp[k]=[yp [k]，. . .，yp [k]]T，并且Xp [k]是导频sym。uStay}. A中的前四个动作意味着发送（或bol使得对于u1，. . . 、乌桕属U.发射第u个MS的BF向量fu [k]CN×1满足fu [k] 21。的接收BF矩阵W [k][w1[k]，. . . ，wU[k]]CM×U由U个MS的U个BF向量组成.每个MS使用一个反式-mit从预定义的离散傅立叶中选择的BF向量S. Kim，G.Kwon和H.公园ICT Express 7（2021）2831⎪+来自码本W=W∈CM ×1，m = 1，. . .|W|.⎪⎩−1,M×1协方差σ2的复白高斯分布I。我们接收）波束被改变为相邻波束。在[15]中，行动空间只包括这四个行动。有一个当信道接近静态时不可避免地改变波束的问题。为了解决这个问题，我们在A中使用了附加的最后一个动作。奖励函数定义如下，变换（DFT）波束码本，F=fn∈CN×1，n=1，. . . |F|如[19]。类似地，{e BS选择U_receive_BF_vec}。2016年1月1日，如果|y（nk+1，mk+1）||2 |2否则K>cu2（十）KM加性噪声n[k]∈C遵循零均值0，如果cl<|2 ≤ c u，|2≤ cu ,将SNR定义为SNRσ 1/σ2。在波束训练之后，AoD信息，其是从BS反馈到每个基站，MS在TFB时间期间。对于反馈后的数据传输其中（nk， mk）和（nk+1，mk+1）是发送和接收分别在时间k和kcu和C1是用于计算奖励的预定义参数。在时间k观察到的接收信号被表示为y（ nk， mk）2Rk+1=|y(nk+1,mk+1)|S. Kim，G.Kwon和H.公园ICT Express 7（2021）2832W+−+∈W（）下一页）a∈AM（）=--WF其中，= − = −（）。lowupδr1−coscosδ（）r(2)进入下一个状态Sk+1=2fnk+1，wmk+1·（（α[t]a（[t]）atx（μ[t]））fnMP[t]xp[k]+n[k]），[客户端]WS=WmMP−D [t]，. . . ，wmMP+D [t]-−r\wmMP[t]，respec---其可以通过如下探测发射波束fnk和接收波束wmk来获得，y（nk，mk）=w<$mkH[t]fnk+w<$mkn[k].（十一）在（10）中，例如当奖励等于1时，这意味着在朝向最优波束的方向上采取动作。最后，更新Q值的过程如下所示[11]：(1) 从（动作集合A）中选择动作Ak，以时分复用方式探测发射和接收波束。为了估计AoA，针对S中的所有波束和给定波束fnMP[t]计算RSSs，从中选择两个连续波束。一个是最大的RSS，另一个是第二大的RSS。让选定的ABP由两个矢量组成，一个矢量（η[t]）δr），aθr（η[t]δr）S，在时间k和（k1）的帧t。两个选定波束的接收信号表示为y[t]=a（η[t]−δr）(3) 通过使用时间k处的观察值来观察奖励Rk+1和k+1，y[t]=ag[t]+δr中国共产党(4) 更新Q值如下，Q（ Sk， Ak）←（1−qLR）Q（ Sk， Ak）·（（α[t]a（[t]）atx（μ[t]））fMP[t]x[k+1]+n[k+1]，（十三）d其中η[t]是接收ABP的直角，并且（十二）δr=π近似半功率波束宽度的一半的+qLRRk+1+qDFmaxQ（ Sk+1，a），ne win fo rmation根据两个波束的接收信号计算的RSS导出为χ [t]=（y [t]）y [t]和χ[t]=（y [t]）y [t]。（十四）其中0qLR 1是学习速率（或步长），<<0qDF 1是决定未来奖励重要性的折扣因子。<来华传教士。，1939--人李湾，澳-地Vucetic，基于码本的毫米波跟踪系统训练波束序列设计，IEEE Trans.Wireless Commun。18（11）（2019）5333-5349。[10] D. Zhang，中国古柏A. Li，M. Shirvanimoghoun，Y.李湾，澳-地Vucetic，ExploringAoA/AoD dynamics in beam alignment of mobilemillimeter waveMIMOsystems，IEEE Trans. Veh. Technol. 68（6）（2019）6172[11] R.S.萨顿，A.G. Barto，Reinforcement Learning：An Introduction，MITPress，Cambridge，MA，USA，1998.高分辨率。此外，与传统的基于ABP的估计方案，需要全波束搜索相比，所提出的算法实现了更高的有效和速率，仅使用少量的波束搜索与低开销。例如，在我们的模拟设置中，所提出的算法实现了至少54%的改善，可实现的和速率在SNR 20 dB的基线方案。这项工作适用于移动环境，如无人机网络。对于未来的工作，多MS波束跟踪算法的收敛行为可以从理论上研究。[12] V. Mnih，K.Kavukcuoglu，D.Silver，A.格雷夫斯岛安东诺格鲁，D. Wierstra，M. Riedmiller，Playing atari with deep reinforcementlearning，2013，arXiv preprint arXiv：1312. 5602.[13] J. X. Wang， Z.库尔特-纳尔逊D.蒂鲁马拉角Soyer，J.Z.雷波，R.穆诺斯角布伦德尔，D。Kumaran，M. Botvinick，Learning toreinforcement learn，2016，arXiv preprint arXiv：1611. 05763.[14] C. Finn，P. Abbeel ，S. Levine， Model-agnostic meta-learning forfastadaptation of deep networks ， 国 际 机器 学 习 会 议 ， PMLR ，2017，pp. 1126-1135.[15] H.蒋，K.陈威Rave，M.K.马兰迪湾Fettweis，使用Q学习和干扰抑制的多无人机毫米波波束跟踪，在：Proc.IEEE国际Conf. Commun.（ICC Workshops，2020，pp.一比七S. Kim，G.Kwon和H.公园ICT Express 7（2021）2837[16] S. Kim，G. Kwon，H. Park，基于Q学习的毫米波波束形成系统的低复杂度波束跟踪，在：国际信息和通信技术融合会议论文集，ICTC，2020年，pp. 1比5。[17] L. 杨 ， W.Zhang ， BeamtrackingandoptimizationforUAVcommunications ， IEEE Trans. Wireless Commun. 18 （ 11 ）（2019）5367-5379。[18] S. Jayaprakasam，X. 妈J.W. 崔，S。 Kim，鲁棒波束跟踪对于毫米波移动通信，IEEE Commun. Lett. 21（12）（2017）2654-2657。[19] G.权，N. Kim，H. Park，具有有限反馈的毫米波SDMA：仅RF波束成形可以优于混合波束成形，IEEETrans. Veh. Technol. 68（2）（2019）1534[20] G.H.戈卢布足球俱乐部Van Loan，Matrix Computations，Vol. 3，JHU Press，2013.[21] G. Kwon，H. Park，用于宽带毫米波信道中的多模传输的有限反馈混合波束成形，IEEE Trans. 无线通信19（6）（2020）4008[22] B. Hassibi，B.M.在多天线无线链路中需要多少训练？IEEE Trans.Inform. Theory 49（4）（2003）951-963.