没有合适的资源?快使用搜索试试~ 我知道了~
6563ATPFL:联邦学习框架王春楠1、陈翔1、王俊哲1、王宏志1、2*1哈尔滨工业2彭城实验室WangChunnan@hit.edu.cn,{20s003052,1190201815} @ stu.hit.edu.cn,wangzh@hit.edu.cn摘要虽然轨迹预测(Trajectory Prediction,TP)模型在计算机视觉和机器人领域取得了巨大的成功,但其体系结构和训练方案的设计依赖于繁重的人工劳动和领域知识,对普通用户并不友好。此外,现有的研究工作忽略了联邦学习(Federated Learning,FL)场景,未能充分利用分布式多源数据集和丰富的真实场景来学习更强大的TP模型。本文弥补了上述缺陷,提出了ATPFL,帮助用户联合多源轨迹数据集,自动设计和训练一个功能强大的TP模型。在剂2剂2ATPFL的基础上,通过对已有工作的分析和总结,建立了一个有效的TP搜索空间.然后,根据该搜索空间的特点,设计了一种关系序列感知的搜索策略,实现了TP模型的自动最后,在FL框架下,找到合适的联邦训练方法分别支持TP模型搜索和最终模型训练,既保证了搜索效率,又保证了最终模型的正确性。大量的实验结果表明,ATPFL可以帮助用户获得性能良好的TP模型,比现有的单源数据集上训练的TP模型取得更好的结果。1. 介绍人类T轨迹P预测(TP)模型旨在预测行人的运动[13,20]。它们的高性能在很大程度上依赖于丰富的弹道数据。然而,在实际应用中,TP数据源通常是分散在不同区域的监控设备.它们包含了各种场景下的轨迹数据,但由于隐私保护的原因无法共享,这给现有的TP工作带来了限制。为了解决TP数据孤岛问题,需要采用FederatedL earning(FL)框架*通讯作者。图1.ATPFL在TP上结合了AutoML和FL技术区域,旨在利用多源TP数据集联合设计和训练功能强大的TP模型。将这些多个数据源以分布式和隐私保护的方式联合起来,共同获得更健壮和通用的TP模型。虽然这个想法带来了两个主要挑战。一方面,在外语框架下的TP模型的设计是困难的。具体而言,TP模型设计过程需要大量的手工工作和领域知识。然而,FL用户通常不是专家。这些模型在没有领域知识的情况下无法实现自主开发,这给外语框架下的TP模型的普遍应用带来了很大的障碍。另一方面,适用于TP模型的FL方法还没有被研究或讨论。现有的FL作品主要围绕CNN [6,8,19]构建,而没有关注TP模型。如何在外语框架下有效地训练主位推进模型还有待进一步研究。本文针对这两个问题,提出了ATPFL算法,该算法将自动机器学习(AutoML)与FL(如图1所示)相结合,用于联合多源轨迹数据集,自动设计和训练功能强大的TP模型。p1观测弹道预测弹道pipNt 0不OBS电话+1OBSt预测剂1剂1p1PJAutoMLpM的t0测试表tobs+1t预测6564对于第一个挑战,在ATPFL中,我们设计了一个适合TP领域的AutoML算法,从而实现了TP模型本文总结了TP模型的设计过程,收集了每一步的可用操作,并通过分析现有的TP作品,找出了每一步操作的局限性我们将上述经验和知识整合到一个关系图中,从而为TP领域构建了一个有效的搜索空间。此外,考虑到操作之间复杂的约束关系、时间关系和技术联系,设计了一种关系序列感知策略,有效地探索TP搜索空间。该策略可以利用构建的关系图、G神经网络(GNN)[4]结合R神经网络(RNN)来学习所选操作序列的高层特征,从而为后续步骤的设计同时,通过在每一步查询关系图,可以与传统的AutoML搜索策略在模型设计中忽略操作之间的关系[10,12,21]相比,我们的策略更适合TP领域。对于第二个挑战,我们为TP模型找到了合适的联邦训练方法,使ATPFL能够在FL框架下有效地我们确定了一种快速收敛的方法来支持AutoML中TP模型候选的快速评估,从而确保ATPFL的搜索效率。此外,我们选择最有效的联邦训练方法来训练ATPFL发现的最优TP模型,以进一步提高ATPFL的最终性能。我们的主要贡献概述如下。1. 知识:我们为TP领域的操作构建了详细的知识图。该图可以加深我们对TP模型的理解,为进一步的研究提供2. 新颖性:同时打破数据孤岛和专业限制,让非专业人士也能结合多源轨迹数据集,自动设计强大的TP模型。3. 有效性:大量的实验表明,我们设计的搜索策略和选择的联邦训练方法非常适合TP领域,有助于获得更强大的TP模型,这证明了ATPFL的有效性。2. 相关作品2.1. 弹道预测模型基于深度神经网络的TP模型[1,2,11,13,14、16、20、25、29、30、32]最近出现了强大的预测人类未来轨迹的工具。Social- LSTM [1]是最早的深度TP模型之一,它应用RNN和池化机制来建模行人的运动模式并在它们之间形成社交特征Social-GAN [11]将Social-LSTM扩展到生成对抗模型,以进一步探索人类行为的多模态并取得更好的结果。STGAT [13]提出了一种新的时空图注意力网络,以捕获人群交互的空间和时间特征,并取得了良好的性能。最近,Social-STGCNN [20]提出将行人的轨迹建模这些现有的神经模型侧重于不同的见解来解决TP问题,在实际应用中取得了可喜的进展。在本文中,我们的目标是灵活地使用他们提供的模型设计经验,以支持TP模型的自动设计。2.2. 联邦训练法FL [31]旨在基于分布在多个客户端而不共享数据的数据集It makes it possible to vigor- ously develop neuralmodels in the privacy-preserving era, and attracts greatattention of scholars. FedAvg [19]是第一个为神经模型设计的联邦训练方法。它在每个客户端中使用本地SGD更新,并从具有非i.i.d.的客户端子集构建数据Per-FedAvg [7]为FedAvg添加了个性化的概念。它允许每个客户端使用其本地数据集基于全局模型执行一次梯度更新,以获得个性化的模型解决方案。最近,pFedMe [6]被提出来进一步提高Per-FedAvg的性能它允许每个客户端使用任何优化方法进行多步更新,而不会偏离全局模型参数太多,以获得更好的个性化模型解决方案。该方法能够以较低的复杂度对个性化模型进行快速优化,取得了较好的效果。这些神经模型的联邦训练方法为FL框架下的TP模型训练提供了有力的支持。但以往的研究只分析了它们在分类模型或其他运动预测模型上的性能[9,18],而忽略了它们在TP模型上的特性。本文旨在填补这一空白,并为TP模型确定合适的联邦训练方法,确保FL框架下ATPFL的搜索效率和最终性能。2.3. 神经结构搜索算法神经结构系统(NAS)倾向于自动搜索良好的神经结构[27],6565--M∈LMMM×MM记为Y=,p。i= 1,. - 是的- 是的,N,根据..时间周期t表示为X=pi=1,. -是的-是的 、N.OBSMMDWWMLM是AutoML的一个重要研究课题。现有的NAS算法可以分为三类:基于递归学习(RL)的方法、基于进化出租(EA)的方法和基于梯度的方法。基于RL的NAS[3,10]使用RNN作为控制器。搜索目标。 给定TP搜索空间S和馈送的TP数据集D = D1,. - 是的- 是的 ,D C是分布式的,并且在C客户端之间是非共享的,ATPFL算法的AutoML部分旨在找到最佳的TP模型,以最小化D上的总体验证ADE得分。troller来确定操作符和连接令牌的序列,从而顺序地构建网络。基于EAA=arg min ADEDM∈SVal(W)M,M)NAS [5,24]首先对一个体系结构群体进行建模,然后将其验证精度作为拟合度进行进化。至于基于梯度的NAS方法[12,17,21],S. t. W*M = arg minDW火车(一)(W,M)它们将搜索空间放宽为连续的,从而可以通过梯度下降相对于其验证性能来优化该体系结构。这些NAS算法通常是为CNN或GNN分类模型设计的,其中搜索空间中的操作没有复杂的关系。它们不能处理TP操作之间的有价值的连接以进一步提高最终性能,这不太适合基于TP的NAS问题。本文旨在填补这一空白,设计一个更适合TP领域的NAS解决方案,实现高效、自动的TP模型设计。3. 我们的方法在本节中,我们首先设计一个AutoML算法来实现ATPFL中TP模型的自动化设计(3.1节)。然后,我们确定了合适的联邦培训方法,以指导ATPFL在FL框架下有效地工作(第3.2节)。3.1. TP模型我们利用已有的TP模型设计经验,构建了一个有效的TP搜索空间(3.1.2),并设计了一个关系序列感知的搜索策略,以指导ATPFL高效地搜索高性能的TP模型(3.1.3)。第3.1.1节给出了TP模型的符号,并定义了ATPFL的搜索目标。3.1.1符号和搜索目标符号。 假设在一个场景中有N个行人,表示为p1,p2,. - 是的- 是的 ,p N. 在时间步长t处的足三角形pi的位置被表示为pt=(xt,yt),并且哪里D列车(W,)表示总体训练损失TP模型在权重不足的情况下,使用联邦训练方法学习M3.1.2搜索空间通过借鉴已有的TP模型,我们总结出TP模型设计的5个阶段(这些阶段是现有TP模型的共同点)。我们用10个参数来描述这些阶段的主要内容,并从5个最先进的TP模型中提取每个参数的有效操作,包括SGCN[26],2012 - 02- 22 01:02:022)、社会-2016 - 04 -20 01 : 02 :02[2] 《中国社会科学》( (4)、STGAT((五)。表1总结了本部分的所有内容。在ATPFL中,我们利用表1中的经验信息来构造有效的TP搜索空间。具体而言,除了上述定义的10个参数(概述TP模型的设计过程)外,我们还添加了两个参数:FExM和FEnM加入到TP搜索空间中,对应于阶段2中的一组额外的特征提取和增强操作,以获得更强大的TP模型。我们应用这12个参数来描述TP模型的设计方案,允许将它们设置为表1的第四列中的选项,从而获得具有多样化TP模型的搜索空间(约1 .一、3 106TP模型设计方案包含在搜索空间中)。3.1.3序列感知搜索策略在这一部分中,我们的目标是设计一个有效的策略,使ATFFL能够有效地从第3.1.2节中设计的巨大搜索空间中搜索到高性能的TP模型。TP搜索空间的特点。我们注意到TP搜索我我我一组观察到的所有行人的历史位置,1:tobs我TP模型可以预测所有人即将到来的轨迹,在未来的时间范围tpred上的行人,这是de-tobs+1:tprediX. 我们用Y=M(X)来表示模型的预测值,并使用平均误差(ADE)度量或某个损失函数来比较Y和Y,以便解释。胺TP模型的有效性M.空间比传统的CNN搜索空间更复杂,其中操作简单并且对使用没有限制。TP搜索空间中的操作之间存在多个关联(详细信息如图2所示):R1时间关系搜索空间中的每个操作仅对应于TP模型设计的一个阶段,并且阶段1至阶段5的操作应在TP模型设计过程中顺序选择(如下)。M6566表1.TP模型设计的5个阶段第4列列出了用于描述TP模型的10个参数的选项 选项从5个TP模型中提取:SGCN [26](M1),LB-EBM [22](M2),Social-STGCNN [20](M3),Social Ways [2](M4),STGAT [13](M5)。阶段功能描述涉及的操作(参数)现有工程提供的解决方案(参数第一阶段:数据预处理阶段阶段2:特征提取阶段增强输入的代表性。捕捉历史轨迹的特征。输入处理方法(IPM)X′=IPM( X)特征提取方法(FExM)F=FExM( X′, X)IPM1:实际位置(M2)IPM2:相对位置(M1、M3、M5)IPM3:实数+相对位置(M4)FExM1:稀疏图卷积网络(M1)FExM2:多层感知器网络(M2)FExM3:时空图CNN(M3)FExM4:基于LSTM的运动编码器模块(M4)FExM5:基于GAT的人群交互建模(M5)特征增强方法(FEnM)FEnM1:无(M1,M3)第三阶段:功能融合阶段第四阶段:轨迹预测阶段结合了历史轨迹的特征。将阶段3的输出转换为预期预测。F′=FEnM(X′,X, F)特征融合方法Fall=FFM( F, F′)预测处理结构(PPS)Y=PPS(Fall)潜在信念能量模块(M2)FEnM3:注意力集中模块(M4)FEnM4:基于LSTM的时间相关建模(M5)实况调查1:集中所有功能在阶段2(M1,M2,M3)实况调查团2:集中所有功能在阶段2和噪音(M4,M5)PPS1:时间卷积网络(M1)PPS2:时间外推卷积神经网络(M3)PPS3:多个全连接层(M2,M4)PPS4:LSTM +全连接层(M5)OC1:顺序预测坐标(M4)输出内容(原币)OC2:直接预测坐标(M2,M5)OC3:二元高斯分布(M1,M3)的参数预测阶段5:模型为设计的轨迹确定合适的训练设置损失函数(LF)LF1:L2 损失(M2、M4、M5)LF2:基于分布的负对数似然损失(M1,M3)TM1:基于LF的通用模型训练(M1,M2,M3)训练阶段预测模型培训模式(TM)TM2:基于生成对抗网络的模型训练(M4)LM3:基于多样性损失的模型训练(M5)学习率(LR)LR1:1 e-2(M1,M3)LR2:1e-4(M2)LR3:0.0015LR4:1e-3(M4,M5)优化函数(OF)OF1:Adam(M1,M2,M4,M5)第2类:新加坡元(3美元)IPM→ FExM→ FEnM→ FExM添加→ FEnM添加→FFM →PPS →OC →LF →TM →LR →OFR2限制关系由于特殊的要求,某些操作可能无法与某些操作配合以构建例 如 , 表 1 中 的 LF2 是 为 估 计 双 变 量 分 布(OC3)的TP模型设计的,不适用于OC1和OC2。FExM2无法处理可变长度的轨迹,因此无法按顺序预测坐标(OC1)。R3技术连接。一些操作可以应用相同类型的神经架构或技术。例如,FExM3和PPS1都使用CNN,FExM5和FEnM3应用注意机制。这些关联关系很有价值,可以帮助提高搜索性能:R1-R3可以帮助搜索策略更好地理解每种操作的特点,获得更好的TP模型;R1和R2可以指导搜索策略,避免无效的操作组合,从而提高搜索效率。此外,我们注意到,后续操作的有效和最优选项可能会受到所选择的TP操作序列的影响。序列感知策略。基于上述特点,我们设计了一种ATPFL中的关系序列感知搜索策略,该策略利用操作之间的关系信息,结合历史操作序列,顺序、高效地选择最优的后续操作,从而获得有效的TP模型.图2给出了我们战略的总体框架。我们的战略包括两个部分,即,基于GNN的嵌入式学习和屏蔽RNN优化器。第1部分:基于GNN的嵌入式学习。我们首先使用GNN学习的有效嵌入表示的每个操作从TP搜索空间中的关系信息我们将搜索空间中的操作视为节点,将R1-R3然后,我们引入了FAGCN [4],一种具有自选通机制的有效GCN,通过自适应地整合相关相邻信息来自动学习节点之间的关联并获得高级节点特征请注意,不同类型的邻居可能会对目标操作节点的最终嵌入做出不同的贡献。因此,我们使FAGCN自适应地学习目标节点上不同边缘类型的重要性6567限制关系联系人:技术联系人Σ电话+1PS我电话+1我表示、邻域集和节点度w.r.t.节点i的边Rk。基于可训练参数向量aRk计算注意力系数αi,j,Rk。θlogP电话+1电话+1∈第一阶段第二阶段第三阶段第四阶段第五阶段GNN关系嵌入层掩模层选定操作RNN层(a) 操作上的异构图(b)Masked RNN Optimizer图2. ATPFL中关系序列感知搜索策略的总体框架。注意,R1,即,时间关系,存在于具有不同类型的相邻操作之间,并且我们在异构图中省略这些边。搜索空间中每个操作的嵌入学习公式如下:3重复上述步骤,就可以得到一个有希望的、有效的TP对于GCN中涉及的模型参数θ,E′=λ·x+λαi,j,Rk√xi,Rkj,Rk(二)RNN优化器,我们优化其权重,有效政策[10,28]。其中xi,Ni,R和di,R表示初始嵌入θEP(o1 <$12;θ)[奖励]k k12=EP(oΣ(6)不t=1αi,j,Rk =tanh(aTR[xi,xj])(3)其中,b是先前模型奖励的指数移动平均值,奖励是第2部分:Masked RNN Optimizer 然后,我们使用RNN,异构图和学习的高级操作嵌入,顺序和有效地获得最佳和有效的TP模型设计方案。我们将所选操作的嵌入o1t=(o1,. - 是的- 是的 ,〇 t)依次输入到RNN中,以提取历史操作序列的有效特征。 并根据Fo1 λt预测下一步操作为最优的可能性Po1λt。P01RNN = softmax(FC(RNN(E0,. - 是的- 是的 ,E o)(4)由RNN优化器生成的TP模型。该增强策略通过最大化策略的预期收益,有效地更新模型权重,引导搜索策略推荐更好的TP模型。3.2. TP模型ATPFL需要找到合适的联邦TP模型训练方法,以便能够在FL框架下有效和高效地工作。具体来说,ATPFL的最优模型搜索阶段电话+11t一般需要评估多个TP模型,需要收敛速度快的联邦训练方法。在这o1t电话+1E ∈R |St+1|,其中St+1表示opera的集合。ATPFL可以区分具有不同性能的TP模型,在下一步的工作中,可以指导我们探索更有前途的TP模型,但可能会由于忽略操作之间的R2为了避免无效的勘探,为了进一步提高搜索效率,我们构造了一个掩码向量M o1≠ R |St+1|以屏蔽无效的下一步操作。具体地说,我们确定的R 2邻居的o1tt+1,将它们的掩码值设为0,而将其他值保持为1,从而获得Mo1t。借助Mo1t,Po1t 被修改为Po1t,因此RNN可以该算法使用较少的联邦训练时间,从而降低了评估成本,提高了搜索效率。此外,ATPFL的最佳TP模型训练阶段要求最有效的联邦训练方法。这样,ATPFL可以在FL框架下获得更强大的TP模型,进一步提高最终性能。基于上述需求,本文分析了三种联邦训练方法FedAvg [19]、Per- FedAvg [7]和pFedMe [6]在TP模型上的收敛速度和联邦性能,旨在找到合适的联邦训练方XX……XXXKk=1j∈Ni,RkDDJ1吨 ;θ)6568P1t=softmaxM1· P1法。电话+1电话+1电话+1过滤出有效的操作选项,更有效地获得O.乌乌河电话+1电话+1电话+1为ATPFL工作。三种联合训练法。 给定一个数据集D={D1,. . .,D C},它们是分布式和非共享的(五)在C客户端中,联邦训练方法优化了6569CP {}CΣM我ADE=i∈Pt=tobs+1tttt2|P|·tpredFDE= i∈Ptt tt2,t = tpred(十一)(a)Social-STGCNN模型(b)STGAT模型图3.不同联邦训练方法在TP模型和联邦TP数据集上的性能曲线 我们模拟 通过将ETH [23]和UCY [15]的轨迹数据平均分配给20个客户端来创建联邦数据集。全局模型权重W如下。F(w)=1i=14. 实验在本节中,我们将研究ATPFL的性能。我们分析了TP模型上联邦训练的重要性,并将ATPFL的AutoML部分与前AutoML算法进行了比较(第4.2节)。此外,还对ATPFL(Section4.3)中设计的关系序列感知搜索策略进行了实验分析。所有实验都是使用Pytorch实现的。4.1. 实验装置数据集。为了评估我们的方法在FL框架下的性能,我们通过均匀分布两个公开可用数据集的轨迹数据来构建联邦TP数据集D:[23]和UCY [15],给20个客户。ETH数据集包含真实世界人类轨迹的两个场景,即,ETH和酒店,每个都有750个不同的行人。UCY数据集有3个组成部分:ZARA 01、ZARA 02和UNIV,包含两个场景,w=w+ηF(w)其中Fi(w)是客户端i的本地训练损失,并且在不同的联邦训练方法中计算不同FedAvg直接考虑 fi(w),即,在局部数据集Di上的w的训练损失,如Fi(w):Fi ( w ) : =fi ( w )(8)Per-FedAvg使用个性化模型来获得Fi(w):七百八十六人。总的来说,我们的联合TP数据集D包含5组数据,具有4个不同的轨迹场景。对于每个客户端,我们分别将其本地数据集的60%,20%和20%作为对于单源数据集下TP模型的评估,我们将ETH,Hotel,ZARA 01,ZARA 02和UNIV作为5个单源数据集,采用相同的分割比。评估指标。我们使用A/D位移误差(ADE)[23]和最终D位移误差(FDE)[1]来检查TP模型的预测误差。Fi(w):=fi(θi(w))=fi(w−α<$fi(w))(9)pFedMe生成更灵活的个性化权重普莱德<$((xi,yi)−(xi,yi))<$<$((xi,yi)−(xi,yi))<$Fi(w):= min吉吉.fi(i)+ǁϑi−wǁ2Σ(十)|P|其中=p1,p2,. - 是的- 是的 ,p N是行人的集合,(xi,yi)是在时间t的预测坐标,并且(xi,yi)不tt不三种方法的特点。我们分析了上述三种方法在现有TP模型上的性能曲线(图3给出了一个例子)。我们发现FedAvg在早期训练阶段的覆盖率是最快的,并且也是最好的。是地面坐标至于TP模型的最终联邦性能,我们使用测试集上的联邦ADE/FDE得分来比较它们在FL框架下的性能:CpFedMe和Per-FedAvg在收敛速度和联邦性能上都不突出,不适合我们的ATPFL算法。这些发现告诉我们,ADED测试=|Di,test|ADE(,Di=1 |D试验|i,测试)(12)强大的TP模型严重依赖于丰富的数据源,而个性化的训练方法更多地关注局部数据,在TP领域没有太大的帮助。基于这些观察,我们使用FedAvg在ATPFL的TP模型搜索阶段快速评估TP模型,并在ATPFL中训练最佳TP模型。在它的帮助下,ATPFL可以在FL框架下实现更好的性能。(七)在全局权重w的指导下测量Fi(w):iΣλ26570其中D i,test是客户端i的测试集,D test表示联合TP数据集D中的所有测试数据。将ADE替换为FDE,然后进行ADED测试。基线。我们将ATPFL与两个流行的搜索进行AutoML策略:一种RL搜索策略,将递归神经网络控制器[10]和基于EA的多目标优化搜索策略[5]相结合,以及AutoML中常用的基线,随机搜索。6571表2. ATPFL,AutoML算法和手动设计的TP模型的性能比较。第一部分研究了现有TP模型在单源TP数据集上的性能。第二部分在TP模型上比较了不同的联邦训练方法第三部分比较了FL框架下的AutoML方法。Best-i表示客户端实现的第一个FL方法TP模型单源数据集AVGSTDMINMax数据集Univ没有一社交-STGCNN社交方式STGATSGCN0.78/1.061.07/1.880.97/1.780.38/0.580.4142/0.70601.4042/3.99110.2421/0.68980.0761/0.15160.31/0.450.23/0.400.65/1.270.13/0.182.04/2.713.39/5.761.94/3.410.92/1.322.04/2.713.39/5.761.94/3.410.92/1.320.45/0.520.43/0.900.68/1.280.13/0.180.53/0.940.23/0.400.68/1.260.34/0.500.46/0.700.35/0.560.89/1.670.26/0.490.31/0.450.94/1.790.65/1.270.26/0.39FL框架FL + AutoML框架图5.用ATPFL搜索TP模型的最优设计方案图4.不同AutoML算法搜索的最优TP模型的联邦性能。我们将ATPFL中的关系序列感知策略替换为这三种搜索策略,以考察它们在TP模型和FL框架下的性能。此外,我们还采用了4种最先进的人类发明的TP模型:Social Ways [2]、STGAT [13]、NS [20]和SGCN[26]作为基线,以显示FL框架下自动TP模型设计的重要性。1. 社交方式:它使用GAN对场景中的任何智能体进行合理的预测,避免模式切换和丢弃。2. STGAT:一个基于序列到序列结构的时空图注意力网络,用于预测行人的未来轨迹。3. 社会-STGCNN:它通过将交互建模为图来替代聚合方法的需要。4. SGCN:用稀疏有向图对稀疏有向交互和运动趋势进行建模,以改进预测轨迹。实施详情。在ATPFL中,嵌入大小和隐藏大小设置为100。RNN优化器使用Adam优化器进行训练,学习率 为 3.5e-4 。 对 于 每 个 TP 模 型 候 选 者 , 我 们 使 用FedAvg 训练它5个epoch。在ATPFL搜索1.5 GPU天后,我们选择在验证数据集上实现最高联邦性能的最佳TP模型,并使用FedAvg对其进行500个epoch的训练对于所比较的AutoML算法,我们遵循他们论文中的实现细节,并控制每个AutoML算法的运行时间相同。4.2. 绩效评价FL框架下的4种AutoML算法和4种手动设计的TP模型的性能如表2和图4所示,图5可视化了ATPFL算法搜索的TP模型。负对数似然损失损耗基TP模型训练0.0015亚当相对位置稀疏GCNMLP时间相关建模浓度时间外推CNNFL方法TP模型AVGSTDMINSTDBest-1最好的-2最好的-3最好的-4Best-5FedAvgSGCN0.32/0.590.0004/0.00230.27/0.500.35/0.660.27/0.500.29/0.510.29/0.520.29/0.520.30/0.55每饲料平均值SGCN0.50/0.860.0013/0.00460.42/0.730.55/0.980.42/0.730.44/0.760.45/0.780.46/0.790.47/0.79pFedMeSGCN0.42/0.750.0005/0.00220.37/0.650.46/0.830.37/0.650.38/0.670.39/0.690.40/0.710.41/0.71高斯分布FL方法AutoML方法AVGSTDMINMaxBest-1最好的-2最好的-3最好的-4Best-5FedAvgRL0.40/0.650.0006/0.00380.36/0.530.46/0.790.36/0.530.36/0.560.37/0.580.37/0.590.37/0.60FedAvg进化0.57/1.140.0008/0.00420.52/1.050.63/1.260.52/1.050.53/1.050.54/1.060.541/1.100.55/1.11FedAvg随机0.49/1.020.0008/0.00510.45/0.890.55/0.110.45/0.890.46/0.920.46/0.920.47/0.930.47/0.96FedAvgATPFL0.30/0.570.0003/0.00290.27/0.460.35/0.650.27/0.460.28/0.470.28/0.480.28/0.510.28/0.536572图6.不同版本的ATPFL搜索到的最优TP模型的联邦性能。我们可以从表2和图4的第三部分观察到,ATPFL在联邦TP数据集上超过了其他AutoML算法,在相同的搜索时间内发现了更强大的TP模型。这一结果表明了我们提出的算法的有效性,并证明了在TP搜索空间中考虑操作之间的关系的重要性。ATPFL采用关系序列感知的搜索策略,充分利用搜索空间中操作之间的关系,避免无用的评价,提高搜索效率,并学习操作的有效特征,进一步提高预测精度,从而更有效地提供良好的推荐结果。此 外 , 我 们 从 表 2 的 第 二 和 第 三 部 分 观 察 到 ,AutoML算法发现的TP模型通常优于FL框架下现有的人类发明的TP模型。这一结果表明了在FL框架下TP模型自动设计的实用性和有效性。我们提出的ATPFL使非专家能够联合部署合适的、功能强大的TP模型,大大减少了人类专家的劳动,这是有意义和实用的。我们还注意到,联邦训练方法,特别是FedAvg,可以获得更强大的TP模型,与非联邦方法相同。这一结果显示了FL对TP区的重要性。TP模型的高性能在很大程度上依赖于大量的多场景轨迹数据,FL框架是获得强大的TP模型的必要条件4.3. 消融实验我们进一步研究了基于GNN的嵌入方法和掩码RNN优化器,我们的关系序列感知搜索策略的两个核心组件,对ATPFL算法性能的影响,使用以下两种ATPFL变体,从而验证了本文提出的创新。1. ATPFL无掩模:此版本的ATPFL算法-rithm从掩码RNN优化器中删除了掩码操作它忽略了操作之间的约束关系,假设搜索空间中包含的所有TP模型设计方案都是有效的。2. 没有GCN和掩码的ATPFL:这个版本的ATPFL算法应用了没有掩码操作的RNN优化器,并将基于GNN的嵌入方法替换为公共嵌入层。它忽略了搜索空间中操作之间的多重关系,并且不应用GNN来提取各种操作的高级表示。相应的结果如图6所示,我们可以看到,ATPFL具有更好的性能比ATPFL与-出掩模。由于忽略了搜索空间中操作之间的约束关系,在无掩码的ATPFL中形成了大量无效的TP模型设计方案。这些噪声选择增加了搜索难度,使得在相同的搜索时间下,没有掩模的ATPFL效果较差。这一结果进一步证明了在设计面向TP领域的AutoML工具时考虑操作之间的约束关系的重要性,以及所提算法的合理性。此 外 , 我 们 观 察 到 没 有 GCN 和 掩 码 的 ATPFL 比ATPFL性能差得多。这一结果表明了在ATPFL算法中考虑运算之间的多重关系和使用GNN技术的重要性和必要性。GNN通过自适应地聚合高度相关操作的信息,在搜索空间中提取每个操作的高层特征,从而为推荐有效的TP模型设计方案提供更合理的依据因此,将GNN技术应用于ATPFL是合理有效的。5. 结论和未来工作本文将AutoML和FL技术结合在TP领域,提出了ATPFL来帮助用户反馈私有和多源轨迹数据集,以自动设计和训练功能强大的TP模型。据我们所知,这是第一个同时打破数据孤岛和技术限制的TP工作。大量的实验表明,我们设计的搜索策略和选择的联邦- ated训练方法是非常适合TP领域。它们使ATPFL能够在FL框架下获得性能良好的TP模型,比在单源数据集上训练的手动设计的TP模型在未来的工作中,我们将尝试进一步丰富我们的搜索空间,并设计一个更有效的搜索策略,以进一步提高ATPFL的性能。确认本论文得到了国家自然科学基金资助(U1866602)。6573引用[1] Alexandre Alahi,Kratarth Goel,Vignesh Ramanathan,Alexandre Robicquet,Li Fei-Fei,and Silvio Savarese.社会lstm:人类在拥挤的空间轨迹预测在CVPR,第961-971页,2016年。二、六[2] J av adAmirian,Jean-BernardHayet,andJulienPett re´. 社会的方式:学习多模态分布的行人轨迹与gans。在CVPR中,第0-0页,2019年。二、三、四、七[3] Irwan Bello,Barret Zoph,Vijay Vasudevan,and QuocV.乐神经优化器搜索与强化学习。ICML,第70卷,第459-468页。PMLR,2017年。3[4] 博德宇,小王,石传,沈华伟。超越图卷积网络中的低频信息在AAAI,第3950-3957页中。AAAI Press,2021. 二、四[5] 陈宇康,孟高峰,张倩,席明,黄昌,穆立森,王兴刚.RE-NAS:强化进化神经结构搜索。在CVPR中,第4787-4796页。计算机视觉基金会/ IEEE,2019年。三、六[6] Canh T Dinh,Nguyen H Tran,and Tuan Dung Nguyen.基于莫罗包络的个性化联邦学习。arXiv预印本arXiv:2006.08848,2020。一、二、五[7] Alireza Fallah,Aryan Mokhtari,and Asuman Ozdaglar.个性化联邦学习:元学习方法。arXiv预印本arXiv:2002.07948,2020。二、五[8] Alireza Fallah,Aryan Mokhtari和Asuman E.奥兹达格拉具有理论保证的个性化联邦学习:模型不可知的元学习方法。在NeurIPS,2020年。1[9] Jie Feng,Can Rong,Funing Sun,Diansheng Guo,andYong Li.PMF:通过联邦学习保护隐私的人类移动预测框架。 Proc. ACM互动暴徒可穿戴普适技术,4(1):10:12[10] 杨高、洪阳、张鹏、周川、岳虎。图神经架构搜索。见Christian Bessiere , 编 辑 , IJCAI , 第 1403-1409 页 。ijcai.org,2020年。二三五六[11] 阿格里姆·古普塔、贾斯汀·约翰逊、李飞飞、西尔维奥·萨瓦雷塞和亚历山大·阿拉希。社交伙伴:具有生成对抗网络的社会可接受的轨迹。在CVPR中,第2255-2264页2[12] Ramtin Hosseini , Xingyi Yang , and Pengtao Xie.DSRNA:鲁棒神经结构的可微搜索在CVPR中,第6196-6205页计算机视觉基金会/ IEEE,2021。二、三[13] Yingfan Huang,HuiKun Bi,Zhaoxin Li,Tianlu Mao,and Zhaoqi Wang. Stgat:为人类轨迹预测建模时空交互在ICCV,第6272一二三四七[14] Vineet Kosaraju , Amir Sadeghian , Roberto Mart´ın-Mart´ın , Ian Reid , S Hamid Rezatofighi , and SilvioSavarese.社交- bigat:使用自行车-甘和图形注意力网络的多模态轨迹预测。arXiv预印本arXiv:1907.03395,2019。2[15] Alon Lerner、Yiorgos Chrysanthou和Dani Lischinski。群众的榜样。在计算机图形论坛,第26卷,第655-664页中。Wiley Online Library,2007. 6[16] Junwei Liang,Lu Jiang,Juan Carlos Niebles,AlexanderG Hauptmann,and Li Fei-Fei.窥视未来:预测未来的人的活动和地点的视频。在CVPR中,第5725-5734页2[17] 柳寒笑,凯伦西蒙尼扬,杨一鸣。DARTS:微分架构搜索。在ICLR。OpenReview.net,2019年。3[18] 纳塔莉·马彻奇克,尼山·斯里尚卡,卡洛·平西罗利.Flow-fl:多机器人系统中时空预测的数据驱动联邦学习。见ICRA,第8836-8842页IEEE,2021。2[19] Brendan McMahan,Eider Moore,Daniel Ramage,SethHampson,and Blaise Aguera y Arcas.通信-从分散的数据中高效学习深度网络。在人工智能和统计,第1273PMLR,2017年。一、二、五[20] Abduallah Mohamed,Kun Qian,Mohamed Elhoseiny,and Christian Claudel.社会-
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功