没有合适的资源?快使用搜索试试~ 我知道了~
6614地面实况估计RIO:鲁棒惯性里程计的旋转等方差监督学习曹喜雅1*周才发1曾永亮王丹丹2012华为技术有限公司黎曼实验室公司摘要本文引入旋转等方差作为自监督器来训练惯性里程计模型。我们证明,自监督计划提供了一个强大的监督信号在训练阶段,以及在推理阶段。它减少了对大量标记数据的依赖来训练鲁棒模型,并使使用各种未标记数据更新模型成为可能此外,我们提出了基于不确定性估计的自适应测试时间训练(TTT),以提高泛化能力1161-4-90 3 6X轴,米不确定度估计0 50 100 150辅助损耗0 50 100 150速度MSE0 50 100 150时间戳,秒-30369X轴,米惯性里程计与各种看不见的数据。我们在实验中表明,用30%的数据训练的旋转等方差监督惯性里程计(RIO)与用整个数据集训练的模型实现了同等的性能。自适应TTT在所有情况下都能提高模型的性能,在几种情况下都能提高25%以上。我们在这个网站上发布我们的代码和数据集。1. 介绍使用低成本惯性测量单元(IMU)进行精确和稳健的定位是从增强现实[34]到室内定位服务[30,35]的广泛应用的理想解决方案。IMU通常由加速度计和陀螺仪组成,有时是磁力计,并且可以以节能的方式采样线加速度、角速度它重量轻,价格便宜,可以广泛应用于智能手机、VR头显等移动设备中,在室内、地下等没有全球导航卫星系统的环境中,无处不在的IMU是一种很有前途的信号源,可以提供可靠、连续的定位服务。与对环境敏感且无法在极端照明下工作的视觉惯性Odom-测距法(VIO)[9]不同,仅IMU惯性测距法更需要且可能随时随地执行准确且鲁棒的定位[11,20]。数 据驱 动 方 法的 最 新 进展 ( 例 如, IONet [4],RoNIN [14],TLIO [20])基于机器学习*1表示平等贡献。图1.RIO改进的轨迹估计示例在左边,我们显示了旋转等方差监督学习之前的原始模型性能,右边是RIO的结果。 在中间,我们显示了不确定性估计(橙色),由自监督任务计算的辅助损失(蓝色),原始估计速度MSE(红色)和更新的模型速度MSE(绿色)。和深度学习推动了传统惯性里程计的极限[15,22]。这些进步使惯性测量装置在野外可用。然而,据我们所知,所有这些都是基于纯粹的监督学习,这在分布变化下是出了名的弱。IMU传感器数据随不同的设备和用户而变化很大,有时传感器数据会随着时间的推移而漂移。当有监督出租被部署在不同的应用中时,很难丰富多样的数据集(如RoNIN[14])可以在一定程度上缓解这个问题,但收集如此大的数据集是很麻烦的,并且总是有数据集不包括的场景,因此监督模型无法捕捉它们的特征。为了减轻现实世界中分布偏移的挑战,我们提出了一种几何约束,即旋转等方差,它可以在训练阶段提高深度模型的泛化能力,并帮助深度模型在推理时从偏 移 的 传 感 器 数 据 中 学 习 。 航 向 不 可 知 坐 标 系(HACF)是一个Z轴与重力对齐的坐标系,如RoNIN[14]所示。我们使用HACF解决行人轨迹估计和约束旋转下的水平面。旋转等方差的假设是当IMU地面实况估计Y轴,米6615序列绕Z轴旋转一个随机角度,对应的预测轨迹也要进行同样的水平旋转。在这个假设下,我们提出了一个辅助任务。它是为了最小化旋转IMU数据的深度模型与原始数据的旋转预测之间的角度误差。在实验中,我们验证了辅助任务在训练阶段提高了模型的鲁棒性,当它与监督速度损失联合优化时。在推理过程中,我们将辅助任务作为一个独立的自监督学习问题.辅助损失由测试样本在推理时产生。我们更新模型参数的基础上,因此,该模型是适应给定的测试数据的分布。这个过程被称为测试时间训练(TTT)[27]。TTT的实证结果表明,所提出的自我监督任务带来了实质性的改善,在推理时间。此外,我们引入了深度集成,这是一种用于简单和可扩展的预测不确定性估计的有前途的方法[19]。我们在实验中表明这有助于我们发展自适应TTT,其中当预测的不确定性达到一定水平时,模型参数我们比较了不同的TTT策略,并研究了更新频率与模型精度的关系。总之,我们的论文有以下三个主要贡献:1) 我 们 提 出 了 旋 转 等 方 差 监 督 的 惯 性 里 程 计(RIO),并证明了旋转等方差可以作为一个辅助任务与强大的监督信号在训练阶段。2) 我们将基于旋转等方差的TTT应用于基于学习的惯性里程计,并验证了它有助于提高RIO的泛化能力。3) 我们引入了深度集成作为一种实用的方法来估计不确定性,并利用不确定性的结果作为自适应触发TTT的指标。本文的其余结构是:我们首先给出了以前的工作,惯性里程计算法和相关的自我监督任务的概述。然后介绍了我们的方法,最后给出了实验和评估。2. 相关工作粗略地说,有三种类型的惯性里程计算法:i)基于双重积分的解析解[3,28,32]; ii)具有附加的惯性力的约束模型。第10,15-17,22,24条20、26、31、33]。传统的捷联惯性导航系统是使用IMU读数的双重积分来计算位置[28]。许多解析解[3,32]已被研究,以提高系统的性能。然而,如果存在信号偏差,双重积分会导致累积误差爆炸.它需要高精度的传感器,这些传感器昂贵且笨重,并且通常装备在飞机、汽车和潜艇上。消费级IMU体积小,价格便宜,但精度很低。开发了具有不同假设的各种约束模型[17],它们在一定程度上减轻了误差漂移。[10,22]诉诸鞋安装传感器检测零速度限制速度误差。[15]提出了步检测和步长估计算法,以在规则步态假设下估计步行距离。惯性里程计模型与扩展卡尔曼滤波器(EKF)的可用测量值融合在[16,24]中。[24]需要观察,如位置固定或循环闭合。[16]假设装备有IMU的设备的加速度可以忽略不计然而,这些模型在不受限制的环境中失败,并且当IMU设备处于野外时不鲁棒[14]。数据驱动方法进一步拓宽了惯性测量单元的应用场景,放宽了条件限制。RIDI [33]和PDRNet [2]建议以分层方式通过监督训练来估计自然人体运动RIDI [33]开发了一种级联回归模型,该模型首先使用支持向量机对IMU位置进行分类,然后使用特定类型的支持向量回归模型来估计速度。PDRNet [2]采用智能手机位置识别网络来区分智能手机的位置,然后使用针对不同位置训练的不同模型进行推断。使用统一深度神经网络的IONet [4]和RoNIN [14]提供了在高度动态条件下工作的更强大的他们表明,估计速度的直接积分有助于限制误差漂移,统一的深度神经网络模型能够推广到各种运动。TLIO [20]引入了一种与神经网络耦合的随机克隆EKF,以进一步减少位置漂移。IDOL [26]和[31]是最近基于深度学习的作品,释放了对设备方向的严重依赖。IDOL设计了一个依赖于磁力计读数的显式方向估计模块,[31]并提出了一种新的损失公式,以从原始惯性测量中回归速度。我们的工作与数据驱动的惯性里程计研究一致我们提出了旋转等方差作为一种自我监督方案,以提高模型的泛化能力,并从未标记的数据中学习。[5]提出了MotionTrans- former框架,该框架使用共享编码器将惯性序列转换为具有生成对抗网络的域不变隐藏表示。他们专注于6616··i=1NKt=1··∈||||不2不t=1--minL(A,θ,θ),(3)基伊--∈来自不同结构域的长感觉序列的结构域适应。我们的方法主要处理一个感觉序列上的分布变化,并且在建议的自我监督任务的帮助下,我们表现出明显的改进值得注意的是,我们的工作是一个灵活的模块,可以与许多其他基于深度学习的方法(如RoNIN,TLIO和IDOL)相结合。没有旋转旋转φ1深度模型深度模型深度模型损失修正模型D(vb,ygφ)D(vb,ygφ)自我监督任务为表征学习提供了替代监督信号。自我监督学习增加了提高模型性能的兴趣。IMU读数R旋转φn深度模型……......D(vb,ygφ)避免密集的手动标签工作。许多视觉任务利用自我监督进行预训练[21]或多任务学习[23]。[36]使用视图合成作为监督器来从非结构化视频中学习深度和自我运动。[1]表明,基于自我运动的监督学习了多个视觉问题的有用特征。[18]证明预测图像旋转是无监督表示学习的有前途的自监督任务[27]使用图像旋转任务,并在测试时创建他们验证了他们的方法图2. 拟议的RIO示意图。对于IMU读数,选择随机角度以生成旋转的IMU数据。将相同的深度模型应用于原始数据和旋转数据以估计轨迹。原始数据的估计轨迹旋转相同的角度集将旋转数据的估计轨迹与由原始数据估计的对应旋转轨迹进行比较,以计算损失并更新深度模型。地点:表示向量之间的内积因此,我们定义了一个自监督辅助任务,即给定一组N个训练IMU样本S=Ai,Ni,神经网络模型应该学习解决自监督训练目标:1θNiii =1其中,损失函数L(Ai,θi,θ)被定义为:1D(F(Aj,j|θ),Rot(F(A,θ)|θ)|)。(四)j=1关于TR3,和陀螺仪数据同期在同一坐标系,角速度<$=ω<$tn关于ωtR3,我们随机选择一个水平旋转Rot(. 绕z轴将A和A旋转10度,记为A10度和A 11度。 神经网络模型F()将加速度A和角速度Δ V作为输入,并产生速度估计ΔV作为输出:A=F(A,B)|θ),(1)其中θ是模型F()的可学习参数。 利用旋转等方差,g iv速度估计可达 1=F (A,nθ) ,nv2=F(A,nθ),则在v 1和v 2之间应该有一个水平旋转n。 对速度v1施加,然后得到旋转速度v,我们期望v,= v2。负余弦相似性[7]是在下面的小节中,我们将描述自我监督辅助任务如何帮助模型训练和推理。3.2. 联合培训在训练阶段,我们优化辅助损失(参见等式10)。(4)速度损失共同作用。通过辅助任务,鼓励神经网络模型产生具有一定相对几何关系的速度估计。然而,仅通过辅助任务来学习一致坐标系中速度的大小和方向是不现实的。同时,我们采用鲁棒的步速损失来监督模型。给定在时间帧t的模型输出,在给定时间内,步幅速度损失计算为均方他们之间的错误计算的平均值为11吨用于在传感器输入时间步长上估计这两个速度在实践中,我们采取一个11226617我我我ΣΣ我m=1我我·|(vi−vi)我我(i)Mθm∗∗Mθm我我我我D{|}算法1联合训练1:f或X,在装载机中,将n个样品装载到一个批次中2:对于每个Xi,3:随机选择一个角度第4章:X星 =Ro t(Xi|i)计算共轭输入5:λvi=F(Xi|θ)6:λvc=F(Xλi|θ)计算输出situations.在分布变化的情况下,适当的模型更新可以使模型得到实质性的然而,如果模型参数以不适当的方式更新,则模型对原始数据和转换数据的性能可能会急剧下降。所提出的辅助任务不能捕捉准确的损失时,对象移动与一个模糊的分歧,iΣix,y,zGT2像缓慢移动或静止一样的勃起。在推断时间,训练阶段使用的速度阈值不够8:俄罗斯 =Ro t(t)|i)重新准备旋转输出9:如果n =1,则n=2> 0。5那时10:lssl=(vi,vc) ,计算公式如下:(二)11:其他12:lssli=0将损耗设置为零13:如果结束14:结束15:L=1vi+1ssli以确保稳定和可靠的更新。批量数据优化模型在测试时是从一个连续的时间段,而在训练阶段,他们是随机抽样。连续时间段的采样数据往往同时具有模糊方向性。因此,我们引入不确定性估计来帮助确定更新或恢复模型参数的正确时间不确定性估计我们使用深度集成来支持十六:使用Adam更新θ17:结束第二传感器数据作为输入,并计算相应的平均速度作为管理器,与[14]相同。为了在这两个任务上训练模型,我们为每个训练输入数据创建共轭数据,并将它们组织为数据对。 对于每个输入Xi,选择一个随机角度θi(0<θi<$2π),水平旋转Xi中的加速度和角速度,得到共轭数据Xθi。Xi和它的共轭Xi由神经网络处理在分布外的例子中,不确定性更高[19]。我们采用了一种基于随机化的方法,即通过随机初始化神经网络模型的参数和随机洗牌的训练数据,以获得个性化的增强模型。形式上,我们随机初始化M个神经网络模型F(X θmM,具有不同的参数θm,每个参数表示不同的输出分布。每个模型通过一个独立的优化路径与训练数据随机洗牌收敛为了方便起见,假设系综是高斯分布,每个模型预测pθm =F(X|θm)表示工作模型为F,得到两个输出:|θ)和C=F(X)|θ)。对于输出端,计算步幅。从分布中抽取样本。我们近似预测-将不确定性定义为采样预测的方差,ii-gt2。 如第 3.1,旋转σ2=1(p-p)2,其中p =1p。绕z轴旋转,得到 =Ro t(t)|(见附件)。计算-我最后,将两个向量之间的neg ativ e余弦相似性i和c作为对于我们的惯性里程计模型,我们得到了速度从模型F(X|θm),速度变化可以计算为自我监督辅助任务的损失为了避免静止时速度方向的不确定性,当速度大小不超过0的情况。5米/秒。联合训练的伪码可以在算法1中找到。3.3. 自适应TTT在测试阶段,我们提出了基于旋转等方差和不确定度估计的自适应TTT它有助于提高模型在与训练数据有很大差距的未知数据上的性能。对于测试样本,我们创建与训练阶段相同的共轭数据对。随着自我监督的辅助任务,在第二节。3.1中,我们在进行预测之前,计算辅助损失以更新神经网络模型F(θ)的θ。对于以在线流形式到达的IMU数据,我们采用根据辅助损失的在线模型更新。并且我们设计了重启策略,在特定的条件用相应的抽样估计来计算。我们在实验中表明,速度方差的基础上深ensembles以及表示模型的置信水平的估计。速度方差用作预测不确定性指标,以确定何时更新或恢复模型参数。此外,我们提出了一个自适应TTT策略的基础上的不确定性估计。首先,当速度估计具有高置信水平时,我们停止更新模型参数。当目标运动方向不明确时,辅助损失往往较大,但速度方差不一定很大,在大多数情况下往往较小它有助于避免开销更新,并仅在必要时更新模型。第二,我们需要知道何时重置模型。如果有任何不适当的更新,模型将漂移很大。如果运动是连续的,我们希望保持更新参数的状态。但是,如果运动切换到不同的-7:lvi=反算速度损失参见预测不确定性估计。它能够表达城市损失作为(城市损失)MM6618--Lvvvi−i,vci)=JJ然而,在输入模式下,IMU的数据分布会发生很大变化,更新后的模型在未知数据上的性能可能会比原始模型差同时,通过简单观察到在大多数情况下两种不同运动模式之间存在一个静止或近静止区域,提出了在物体静止或近静止时恢复原始模型参数的我们使用速度不确定性来捕获这些时刻,因为惯性里程计模型在静止或接近静止时往往具有绝对高的置信水平。为了在测试时进行推理,首先使用预先训练的参数θi初始化神经网络模型。测试样本为1秒时间窗内200帧IMU数据,每10帧以20 Hz采样一次 当128测试样本到达时,我们将它们放在一个批次X中进行测试时训练。避免推理564432208-4-64321050-1491419X轴,米100 150 200时间戳,秒4835229-4-17432128 - 17-6 5 16 27X轴,米0 100 200 300 400 500 600时间戳,秒[18]我们选择使用固定数量的(例如,4)均匀分布在0到360度之间的离散角度,以产生共轭样本。我们选择四个度数72度,144度,216度,288度来创建共轭输入,与训练阶段相同与原始和共轭输入,我们可以从模型中得到速度估计。将原始输出表示为V,将共轭输出表示为Vc,将原始输出旋转相应的角度θ,得到Vθ。 辅助损失的计算与训练阶段相同:。D(vi,vci)0.000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000005JJ图3.示例轨迹的比较左边是一个反-从IPS数据库和权利是从RoNIN的弹出。对于两者,基于旋转等方差的TTT策略降低了速度MSE,并导致更好的轨迹估计。更多的例子见附录。我们还保留了[14]中使用的数据增强策略。通过在训练阶段采用不同的监督任务和在推理阶段采用不同的策略,我们证明了所提出的辅助任务有助于模型的性能优于现有的最先进的方法。网络详情我们采用Resnet-18骨干网,ResNet-18模型在多个方面实现了最高的准确性0vj2≤0。5对于每批数据,我们最多更新模型5次。通过基于深度集成的不确定性估计,速度不确定性被估计为三个独立的预训练模型的输出方差,表示为σ2。根据自适应TTT策略,当平均速度方差σ2小于某一值时,停止模型更新,当(σ2)中的最小速度方差m绝对小时,恢复原参数 在行动实践上如果σ 2 0,则停止更新<。04和恢复参数(如果有)RoNIN显示的数据集我们将Batch Normalization(BN)使用组归一化(GN),因为经过训练的模型将用于TTT,其中小批量训练使用估计的批次统计数据的BN已被证明对统计数据不准确的小批次无效。使用通道组统计的GN不受批量大小的影响[27],并且在惯性测距问题上产生与BN正如我们在SEC中提出的3.2中,我们训练了一个表示为J-ResNet的模型,其中联合训练设置遵循算法1。2v我们使用带有ResNet-18主干的RoNIN模型作为min(σvi)<1e 4. 自适应TTT的伪码可以在补充中找到。4. 评价我们在本节中评估我们提出的方法。我们的主要目的是验证所提出的基于旋转等方差的辅助任务有助于提高模型的鲁棒性和准确性。为了消除其他因素的影响,我们对所有用于评估的模型采用一致的成熟架构,数据集和数据增强策略所有模型都具有ResNet-18 [13]骨干,并且我们使用RoNIN提供的最大的基于智能手机的惯性导航数据库来训练模型[14]。地面实况弹道J-ResNet轨迹J-ResNet-TTT轨迹J-ResNet估计速度损失J-ResNet-TTT估算速度损失Y轴,米速度MSEY轴,米速度MSEL(v(五)6619基线。虽然RoNIN发布了一个预训练的ResNet模型,表示为R-ResNet,这正是他们在[14]中声称的模型,但它是一个使用BN并使用整个RoNIN数据集进行训练的模型。由于隐私限制,他们只发布了整个数据库的一半。为了公平比较,我们使用GN以公共数据库为基线重新训练模型其他实现与他们在[14]中声称的完全相同。我们将重新训练的模型表示为B-ResNet。数据库模型使用三个流行的惯性里程计公共数据库进行评估:OXIOD[6],RoNIN[14]和RIDI[33],以及我们自己在不同场景下收集的一个数据库IPS。收集详细信息前-6620数据库指标R-ResNet B-ResNet J-ResNet B-ResNet-TTTJ-ResNet-TTT ATE(m)5.145.575.025.05 5.07浪人氧化物瑞迪IPS实际就业机会(男)D漂移11.54%9.79%9.59%8.49%9.10%最高使用寿命(m)3.46 3.52 3.592.922.96实际就业机会(男)D漂移20.67%19.68%17.43%15.50%15.98%最大消耗量(m)1.33 1.191.13 1.041.03实际就业机会(男)2.01 1.751.65 1.531.51D漂移10.50%7.99%7.61%6.89%6.93%最大使用寿命(m)1.60 1.841.671.55 1.55实际就业机会(男)D漂移8.38%7.66%7.96%5.93%6.75%表1. 业绩评价。 我们比较了五种方法:R-ResNet,B-ResNet,J-ResNet与标准推理管道; B-ResNet和J-ResNet与TTT。在四个数据集的测试数据上评估方法:RoNIN,OXIOD,RIDI和IPS。最佳结果以每行红色突出显示。在补充中提出。对于OXIOD RIDI和IPS中的轨迹序列,在评估之前,使用Umeyama算法[29]将对于传感器数据和地面实况弹道数据被很好地校准到同一全局坐标系的RoNIN,我们直接使用重建的弹道与地面实况进行比较。我们用两种不同的方法来评估神经网络J-ResNet和B-ResNet。一个是标准神经网络推理管道,与IONet[4],RoNIN [14]中相同,另一个使用Sec.三点三R-ResNet仅使用标准管道进行评估,因为它使用BN作为归一化层,并且无法使用小数据批次进行优化。4.1. 指标定义惯性里程计模型的弹道定量评估有三个指标:绝对弹道误差(ATE)、相对弹道误差(RTE)和距离漂移(D-drift)。ATE和RTE是[25]中提出的标准度量ATE(m)被计算为估计轨迹和地面实况轨迹之间的整体平均均方根误差(RMSE)。RTE(m)被计算为在固定长度或时间间隔内估计值与地面实况之间的平均RMSE。在这里,我们使用基于时间的RTE,与RoNIN中相同,我们在1分钟内评估RTE。D漂移计算为估计轨迹长度与地面实况轨迹长度之间的绝对差除以地面实况轨迹长度。4.2. 性能选项卡. 1是我们的主要成果。用于评估模型的所有受试者都不存在于训练集中。我们的评价RoNIN测试数据集的R-ResNet与[14]中的RoNIN不可见集的报告一致。其他三个数据集在训练阶段不使用。R-ResNet使用完整的RoNIN训练数据集进行训练,我们使用其中一半的数据集来训练B-ResNet和J-ResNet。因此,我们评估R-ResNet性能仅供参考。B-ResNet是一个公平的基线,我们将其他方法与之进行比较。结果表明,J-ResNet在大多数数据库上的性能优于B-ResNetJ-ResNet将ATE降低了9。96%,4. 47%,9。RoNIN、RIDI和IPS数据库分别为13%。值得注意的是 , 对 于 RoNIN 数 据 库 , J-ResNet 的 性 能 优 于 R-ResNet,后者使用两倍的训练数据进行训练B-ResNet-TTT在所有数据库上的性能都明显优于B-ResNet它减少了9。29%,17. 04%,11. 84%和15。RoNIN、RIDI、OXIOD和IPS占59%数据库,分别。对于J-ResNet-TTT,它将ATE减少了17。百分之五十五,九。43%,7。OXIOD、RIDI和IPS的支持率为06%,它在RoNIN上的性能与J-ResNet相当。总之,在Sec.3.3可以进一步提高B-ResNet和J-ResNet的性能。在训练阶段,两个模型都使用RoNIN训练数据库进行训练。J-ResNet使用辅助任务进行训练,它已经有助于提高RoNIN测试数据库的性能我们假设辅助任务在RoNIN数据库的训练阶段进行了优化,它不会显着提高模型的性能进一步与测试时的训练。对于OXIOD,RIDI和IPS这两个模型的新数据库,自适应TTT进一步提高模型在所有指标上的性能。图图3示出了J-ResNet和J-ResNet-TTT的选定轨迹性能可视化。它显示了两种模型的地面实况估计轨迹以及速度估计损失比较。当存在大的速度损失时,速度估计损失减少了很多6621010020030040050060002.52.01.51.00.50.0图4. IPS数据库中包含的不同方案的性能比较。在大多数情况下,TTT策略的模型具有更好的性能,J-ResNet优于B-ResNet。原始模型。它表明辅助任务用于自适应TTT可以帮助优化模型的关键1步骤,并导致更好的轨迹估计。0速度x4.3. 多场景所提出的旋转等方差在不同情景下的贡献不同。虽然RONIN培训10-10 100 200 300 400 500 600速度y1.00.50.010数据库是最大的公共惯性里程数据库,具有丰富的多样性,使用RIO可以大幅度提高模型在一定条件下的性能。我们在IPS数据库中按场景比较模型性能,并在图中给出结果4.第一章在不同的场景中,具有IMU传感器的设备安装在不同的地方,并且以不同的方式处理图4示出-11.00.50.0201510500 100 200 300 400 500600速度大小100 200 300 400 500 600ATE比较0 100 200 300 400 500600时间戳,秒在所有情况下,J-ResNet都优于B-ResNet,两种模型的TTT版本都有进一步改进。在通话、后兜、人像和风景 场 景 下 , B-ResNet 的 ATE 可 减 少 28 。 55% , 37.56%,24. 47%和19。92%,对于J-ResNet,TTT版本-将ATE降低20。06%,11. 36%,20。13%和6。02%,分别。这四种场景在日常生活中并不常见,可能不会像RoNIN训练数据库中的其他姿势那样频繁出现。因此,在异常情况下的大的改进阐明了自适应TTT帮助训练的模型从新的数据分布中学习,并在分布变化下提高其性能。4.4. TTT战略分析在本节中,我们将单独评估TTT策略,并解释为什么不确定性估计有助于模型性能的改善。1) 深度系综的不确定性估计可靠吗图5示出了相对于其地面实况的一个轨迹速度估计以及它们的不确定性估计,以及图5.不确定性估计的示例估计值地点不确定性很好地跟随估计误差。使用不确定性估计的自适应TTT随着模型的更新而导致较低的ATE更多的例子见附录。速度估计损失它表明,我们的预测不确定性很好地遵循估计损失。正如我们所预期的,当速度估计损失减小时,预测不确定性减小。通过不确定性估计,我们可以在它低于一定水平时停止更新,因为此时模型非常准确。值得注意的是,当速度的大小为零时,预测不确定性降低到零。如第3.3,检测稳定或接近稳定的区域对于自适应TTT是重要的,因为这是恢复原始模型参数的正确时间。2) 将自适应TTT与其他TTT进行比较:图5的最后一行将自适应TTT(A-TTT)ATE随时间的变化与初始TTT(N-TTT)进行比较。N-TTT指的是始终根据自相关损失更新模型的过程。B-ResNetJ-ResNetB-ResNet-TTTJ-ResNet-TTT01002003004005006000100200300400500600ATE(m)使用具有不确定性估计的地面实况预测计算的损失自适应在线TTT ATE(m)在线TTT ATE(m)标准差预测地面实况6622数据库指标A-TTTN-TTT ATE(m)5.054.942.6ATE(m)B-ResNet J-ResNet J-ResNet-TTT 100% B-ResNetRTE(m)2.4浪人实际就业机会(m)2.42.22.2D漂移8.49% 9.43%最大使用寿命(m)2.923.50实际就业机会(男)2.01.81.650%型号30%型号10%型号2.01.81.650%型号30%型号10%型号D-漂移15.50%19.55%最大使用寿命(m)1.041.11图6. 训练数据大小对ATE和RTE的影响。在IPS数据库上对方法进行了评价,并与瑞迪实际就业机会(男)100%的B-ResNet性能。D漂移6.89% 7.56%最大使用寿命(m)1.551.63IPS实际就业机会(男)D漂移5.93%6.73%3表2. TTT策略比较A-TTT在四个数据库的所有指标上都明显优于N-TTT。监督任务,忽略速度不确定性估计。它保持最新更新的模型,并且不恢复一个连续轨迹上的原始参数图结果表明,N-TTT的ATE比A-TTT的ATE增加快。有两个明显的时间窗口,ATE随着N-TTT而急剧增加,并且在这段时间内速度逐渐减小到零,这意味着物体将是静止的。采用自适应策略,模型将恢复原始参数,ATE将被抑制。选项卡. 2在四个数据库上比较了A-TTT和N-TTT的性能,表明A-TTT的性能明显优于N-TTT。5. 消融研究我们进行了额外的实验与联合训练和TTT设置下消融的考虑。型号性能与训练数据的大小我们使用不同大小的训练数据集在联合训练中训练模型。将RoNIN [14]提供和发布的神经网络表示为100% B-ResNet,因为它是用整个RoNIN数据库训练的。我们分别用50%、30%和10%的数据对模型进行训练,并在不同的设置下对模型的性能进行评价图6显示了不同模型的比较。虽然B-ResNet和J-ResNet性能随着训练数据库变小而下降很多,但具有30%训练数据库的J-ResNet-TTT仍然可以与100% B-ResNet进行比较。然而,当使用10%的训练数据库时,J-ResNet-TTT性能也下降了很多。在测试时,模型可以使用一批数据进行多次更新图图7示出了具有从1到15的不同更新迭代的一个模型的结果。当迭代次数从1增加到5时,有明显的改进。然而,超过5次的更新并没有表现出明显的优势,甚至在一批更新15次时,模型的性能略有下降。更多的迭代花费更多的时间和计算资源.因此,我们建议更新不超过5次210J-ResNet-TTT-1 J-ResNet-TTT-3 J-ResNet-TTT-5 J-ResNet-TTT-10 J-ResNet-TTT-15图7. TTT迭代次数对ATE和RTE的影响。在IPS数据库上对方法进行了评价。TTT期间的一个批次6. 讨论和结论为了提高惯性里程计的性能和鲁棒性,本文提出了一种旋转等方差监督惯性里程计(RIO)旋转等方差可以表述为一个自我监督的辅助任务,可以应用于训练阶段和推理阶段。大量的实验结果表明,旋转等方差任务有助于提高模型在联合训练环境下的性能,并将进一步改善模型与测试时训练(TTT)策略。不仅是旋转等方差,还可能存在更多的等方差(例如,时间反转,时间序列的掩模自动编码器[12]),其可以被公式化为用于惯性里程计的自监督任务。此外,我们还注意到,通过模型设计,可以达到旋转等方差. G.[8]的一项建议。希望我们的观察能对今后惯性里程计自主学习方面的工作有所启发。此外,我们建议采用深系综来估计RIO的不确定性。与不确定性估计,我们开发了自适应TTT的不断发展的RIO在推理时间。因此,它可以大大提高RIO的通用性。使用辅助任务的自适应TTT使得用不到三分之一的数据训练的模型优于最先进的深度惯性测距模型,特别是在模型在训练阶段看不到的场景具有不确定性估计的自适应在线模型更新是在现实生活应用中提高深度模型性能的实用方法。基于深度系综的不确定性估计对深度模式的输出给出了可靠的判断自适应TTT可以以不同的方式实现,无论是保守的还是积极的,用于根据应用场景更新模型。氧化物ATE(m)RTE(m)6623引用[1] Pulkit Agrawal、Joao Carreira和Jitendra Malik。学习通过移动来观察。在IEEE计算机视觉国际会议论文集,第37-45页,2015年。3[2] Omri Asraf,Firas Shama,and Itzik Klein. Pdrnet:一个深度学习的行人航位推算框架。IEEE传感器杂志,2021年。2[3] 约翰·E·博尔茨一种新的捷联惯性导航数学公式。IEEE航空航天与电子系统学报,(1):61-66,1971年。2[4] Changhao Chen,Xiaoxuan Lu,Andrew Markham,andNiki Trigoni. Ionet:学习治愈惯性里程计漂移的诅咒。在AAAI人工智能会议论文集,第32卷,2018年。一、二、六[5] Changhao Chen , Yishu Miao , Chris Xiaoxuan Lu ,Linhai Xie,Phil Blunsom,Andrew Markham,and NikiTrigoni. Motiontransformer:在域之间传递神经惯性跟踪。在AAAI人工智能集,第33卷,第80092[6] Changhao Chen,Peijun Zhao,Chris Xiaoxuan Lu,WeiWang,Andrew Markham,and Niki Trigoni. Oxiod:深度 惯 性 里 程 计 的 数 据 集 。 arXiv 预 印 本 arXiv :1809.07491,2018。5[7] Xinlei Chen,Kaiming He.探索简单的连体表示学习。在IEEE/CVF计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集 , 第157503[8] 塔 科 湾 Cohen , MarioGeiger , JonasK ?hler ,andMaxWelling. 球 形 cnns 。 CoRR , abs/1801.10130 ,2018。8[9] 克里斯蒂安·福斯特,卢卡·卡隆,弗兰克·德拉特,还有达维德·斯卡拉穆扎.实时视觉-惯性里程计的流形上预积分。IEEE Transactions on Robotics,33(1):1-21,2016。1[10] 埃里克·福克斯林。行人跟踪与鞋安装惯性传感器。IEEE Computer Graphics and Applications,25(6):38-46,2005。2[11] 罗 伯 特 · 哈 尔 室 内 行 人 惯 性 定 位 系 统 之 研 究 IEEECommunications Survey Tuesday , 15 ( 3 ) : 1281-1293,2013。1[12] Kaiming He,Xinlei Chen,Saining Xie,Yanghao Li,Piotr Doll a'r,andRossB. Girshi c k. Masked自动编码器是 可 缩 放 的 视 觉 学 习 器 。 CoRR, abs/2111.06377 ,2021。8[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页,2016中。5[14] Sachini Herath , Hang Yan 和 Yasutaka Furukawa 。Ronin:Robust Neural Inertial Navigation in the Wild:Benchmark,Evaluations,New Methods. 2020年IEEE机器人与自动化国际会议(ICRA),第3146-3152页。IEEE,2020年。一二四五六八[15] Ngoc-Huynh Ho,Jiuc Huu Truong,and Gu-Min Jeong.使用智能手机在各种步行速度下进行步行机航位推算的步检测和自适应步长估计传感器,16(9):1423,2016年。一、二6624[16] Rol和Hostettler以及SimoSárkka? 。基于智能手机的pdr的Imu和磁强计2016年室内定位和室内导航国际会议(IPIN),第1-8页。IEEE,2016. 2[17] 安东尼奥·希门尼斯、费尔南多·塞科、卡洛斯·普列托和豪尔赫·格瓦拉。行人航位推算算法的比较使用低成本的导航系统。2009年IEEE智能信号处理国际研讨会,第37-42页。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功