基于增强记忆的递归和一次性表示预测的混合自我中心活动预测框架

139040一种基于增强记忆的递归和一次性表示预测的混合自我中心活动预测框架0Tianshan Liu和Kin-Man Lam香港理工大学电子与信息工程系0tianshan.liu@connect.polyu.hk, enkmlam@polyu.edu.hk0摘要0自我中心活动预测涉及在近期未来识别互动对象和目标动作模式。标准的活动预测范式是通过递归地预测未来表示来弥补未观察到的序列中缺失的活动语义。然而，当前递归预测模型的局限性来自两个方面：（i）普通的递归单元在相对长时间的预测中容易累积误差。（ii）预测的表示可能不足以反映目标活动的期望语义，因为缺乏上下文线索。为了解决这些问题，我们提出了“HRO”，这是一个混合框架，集成了增强记忆的递归和一次性表示预测策略。具体而言，为了解决限制（i），我们引入了一种增强记忆对比学习范式，以调节递归表示预测的过程。由于外部记忆库维护着长期的典型活动语义，它可以保证预测的表示是从有区别的活动原型中重建的。为了进一步指导记忆库的学习，设计了两个辅助损失函数，分别基于多样性和稀疏性机制。此外，为了解决限制（ii），提出了一种一次性转移范式，在离线训练中通过提取目标预测时刻之后的整体活动语义来丰富预测的表示。对两个大规模数据集的广泛实验结果验证了我们提出的HRO方法的有效性。01. 引言0随着可穿戴摄像头的普及，例如GoPro，自我中心感知在过去十年中引起了广泛关注[40,51]。在各种自我中心视觉任务[3, 28, 34,45]中，预测近期未来活动是其中之一。0图1. 自我中心活动预测的任务定义和基本流程图。0ties是一个关键的高级任务，由于其广泛的现实世界应用[16,32]，例如人机交互，自动驾驶，异常事件警报等。然而，在活动开始之前预测未知的自我中心活动是非常困难的，因为存在许多挑战，例如过去和未来事件之间的语义差距，不完整观察中有用线索的稀缺性，以及自我运动和自我中心视频中杂乱的背景。因此，自我中心活动预测（EAA）仍然是一个具有挑战性的任务。0如图1所示，根据[8]的定义，“观察时间”to是观察视频片段的时间长度，“预测时间”ta表示目标预测时刻之前的时间间隔。因此，EAA任务的目标是仅通过观察范围在[δs -(to + ta), δs -ta]的视频片段，即在目标活动开始的时刻δs之前的持续时间ta内，预测发生在时刻δs的自我中心活动。递归预测[12,54]是一种常用的预测未来活动的范式，因为它能够灵活地预测任何时刻的结果。通常，递归预测模型总结过去的观察结果，然后预测接下来将发生的事情。这个过程一直持续到目标预测时刻δs到达。因此，递归预测系统的性能取决于它是否能够139050为了预测包含未见视频序列中的活动语义的区分性表示，当前基于递归模型的EAA方法仍然面临着令人满意的性能问题。0我们认为这种改进受到了两个主要障碍的阻碍。首先，基于递归神经网络（RNN）的传统递归模型容易在相对较长的预测期间累积预测误差。尽管一些方法[40,54]尝试引入对比学习[6, 22,38]来调节表示预测，但是当预测间隔增加时，性能明显下降。其根本原因是基于RNN的模型主要通过记忆来自前一步的信息来更新记忆单元状态，这使得它难以保持所有过去步骤之间的长期依赖关系。此外，对于长度较短、动态有限的观察输入，RNN模型很难预测后续活动，因为细胞状态只能揭示当前观察到的短序列内的关系，无法访问外部知识。其次，现有方法仅仅强迫预测的表示来补偿预测时间的语义，这很可能不足以表示未来的活动。换句话说，在目标预测时间步骤之后缺乏上下文线索给预测模型带来了很大的挑战，使其难以做出正确的预测，特别是当预测时刻处于两个连续活动的过渡边界时。例如，如图1所示，即使预测的表示包含了覆盖预测时间的“scoopcheese”的语义，直接利用这些特征来推断后续活动，即“put downcheese”仍然是模棱两可的。表示在预测时间步骤之前和之后的关系尚未得到很好的研究。0为了解决上述问题，本文提出了一种记忆增强递归和一次性表示预测的混合框架“HRO”，用于自我中心活动预测。首先，为了减轻传统递归模型中的错误累积问题，我们引入了一个记忆库来进行递归表示预测的过程。与RNN单元的内部记忆单元不同，记忆库外部存储着从训练数据中学习到的长期原型活动语义，不仅限于当前的观察输入。我们的模型通过基于注意力的记忆寻址机制，通过记忆项的凸组合来重构未来的表示。为了进一步指导记忆库的学习，我们设计了两个损失函数，分别基于多样性和稀疏性机制，可以使记忆库具备所需的属性。其次，为了最大程度地将上下文线索纳入预测的表示中，我们提出了一种一次性转移策略，以明确地探索预测时间步骤之前和之后的特征之间的语义关系。具体而言，在离线训练中，对于每个目标预测时刻，我们采用一个过渡层将递归模型预测的特征投影到另一个空间，以模拟从未来视频剪辑中提取的活动语义。这个整体的转移过程由相似性学习损失进行监督，该损失最小化模拟特征和未来特征之间的语义差距。0为了将上下文线索最大程度地纳入预测的表示中，我们提出了一种一次性转移策略，明确地探索预测时间步骤之前和之后的特征之间的语义关系。具体而言，在离线训练中，对于每个目标预测时刻，我们采用一个过渡层将递归模型预测的特征投影到另一个空间，以模拟从未来视频剪辑中提取的活动语义。这个整体的转移过程由相似性学习损失进行监督，该损失最小化模拟特征和未来特征之间的语义差距。0本文的主要贡献可以总结为三个方面。1）我们提出了一种记忆增强的递归表示预测范式，旨在通过压缩的记忆库帮助保证预测的表示始终包含有区分性的活动语义。此外，我们设计了基于多样性和稀疏性机制的两个正则化损失项，用于指导记忆库的更新。2）我们提出了一种一次性转移策略，以在目标活动预测时间步骤注入未来的活动语义，进一步校准预测的表示。3）在两个具有挑战性的数据集（即EGTEAGaze+ [32]和EPIC-Kitchens[9]）上进行了大量实验，结果表明我们提出的混合框架相对于其他最先进的方法具有性能改进。02. 相关工作0自我中心活动识别。随着基于深度学习的视频识别方法的发展和大规模自我中心视频数据集的出现[9,43]，自我中心活动识别[13, 33,50]取得了很大的进展。在早期阶段，使用流行的流水线方法通过利用各种帧级注释（如凝视线索[25,42]、手部分割[35]）来定位涉及人物-物体交互的区域。然而，这些方法需要细粒度的注释，在实践中可能无法获得。为了缓解这个问题，Ego-RNN[46]和LSTA[44]将空间注意机制纳入ConvLSTM块中，以弱监督的方式在帧之间定位相关区域。SAP[50]利用检测器生成局部以物体为中心的特征，这些特征被用作指导信息，通过共生注意模块来识别人物-物体交互。我们的工作基于自我中心活动识别中探索的基本概念，如时空表示的提取、多模态的探索等。然而，与上述工作不同的是，我们解决的是自我中心活动预测的任务，重点是补偿未见序列的未来语义，而不仅仅是从观察到的视频剪辑中提取有区分性的特征。早期活动识别。早期活动识别[1, 4, 24,39]的目标是基于部分观察到的、不完整执行的活动，预测活动的类别[10]。Kong等人[30]提出了一种深度序列上下文模型，用于丰富从部分观察到的视频中提取的表示，用于活动预测。Wang等人[49]采用了一种师生学习框架，将从活动识别模型获得的知识转移到目标早期活动预测模型中。考虑到早期识别和预测任务之间的相似性，两者都需要预测未见视频部分的表示或活动语义。对于这两个在线任务，基于RNN的单元，如LSTMs或GRUs，已被广泛用作处理流式视频的基本架构。然而，在活动预测任务中，模型需要在活动开始之前预测目标活动，这意味着在预测时间内甚至无法部分观察到目标活动。Memory Networks.In the deep-learning domain, thememory network can be categorized into two branches. Oneis the internal memory, which implicitly updates in a re-current fashion, e.g., LSTM [23], GRU [7]. The other isthe external memory [19,21,31,53], which can be read orwritten, via an attention-based scheme. According to thecharacteristics of the stored data, the external memory canbe categorized into episodic and non-episodic types. Theepisodic memory [20,52] is limited to the current observa-tions, while the non-episodic methods [27,37] aim to learn apersistent memory. In our work, we choose the RNN-basedrecursive model to forecast the representations in the antic-ipation time interval, as the internal memory is flexible togive the anticipation results at any time-step, and is well-suited for online tasks. In addition, we also maintain an ex-ternal memory bank, which can augment the recursive an-ticipation model to reconstruct future representations fromthe discriminative activity prototypes.The objective of egocentric activity anticipation is topredict the label of the target activity in ta time steps a-head of when it occurs, by observing a video clip with alength of to time-steps.Thus, the anticipation task canbe formulated as follows. Given an observed video clipVo = {v1, v2, ..., vto} containing to segments, after antic-ipating the next content involving ta time-steps, the modelis required to predict the category of the activity at the cur-rent time-step. Here, each time-step spans a unit segment ofτ seconds. As shown in Fig. 2, the proposed method con-sists of three key parts, i.e., observation summary, recurrentrepresentation forecasting with memory bank, and activityanticipation with one-shot transferring, which will be intro-duced in detail in the following subsections.For egocentric activity anticipation, summarizing usefulvisual information from the observed video clip is crucialfor the subsequent representation forecasting. Specifically,for each time-step i (i = 1, 2, ..., to), we employ a sharedfeature extractor ϕ(·), e.g., the I3D [5] or TSN [48] net-works, to obtain the segment embeddings ei ∈ Rd, as fol-lows:ei = ϕ (vi) .(1)Then, we further leverage a recursive aggregator ψ(·), e.g.,the GRU model, to sequentially integrate the segment em-beddings ei into a context feature fto ∈ Rd at the last ob-served time-step, as follows:fto = ψ (e1, e2, ..., eto) .(2)Memory-augmented Representation Forecasting. In or-der to maintain prototypical activity semantics and explorethe multi-hypotheses nature of the anticipation task, we in-troduce an external memory bank into the process of re-current representation forecasting. Concretely, the memorybank is represented as a matrix M ∈ RK×d, where each139060早期活动识别[1, 4, 24,39]的目标是基于部分观察到的、不完整执行的活动，预测活动的类别[10]。Kong等人[30]提出了一种深度序列上下文模型，用于丰富从部分观察到的视频中提取的表示，用于活动预测。Wang等人[49]采用了一种师生学习框架，将从活动识别模型获得的知识转移到目标早期活动预测模型中。考虑到早期识别和预测任务之间的相似性，两者都需要预测未见视频部分的表示或活动语义。对于这两个在线任务，基于RNN的单元，如LSTMs或GRUs，已被广泛用作处理流式视频的基本架构。然而，在活动预测任务中，模型需要在活动开始之前预测目标活动，这意味着在预测时间内甚至无法部分观察到目标活动。0自我中心活动预测。从[8]提出的竞赛开始，近年来，已经对自我中心视频中的活动预测进行了各种方法和框架的研究[14, 15,41]。Girdhar等人[18]设计了一种基于注意力的视频建模架构，即Anticipative Video Transformer(AVT)，用于自我中心活动预测。Ke等人[29]提出了一种时间条件预测框架，通过明确地将预测时间间隔建模为参数。RU-LSTM[16]利用包括RGB、光流和物体特征在内的多模态数据作为输入，并采用滚动和展开的LSTM块来提高预测性能。为了进一步解决基于普通RNN的预测模型的误差累积问题，SRL[40]和LAI[54]引入了对比学习来规范未来表示的预测。Fernando等人[14]设计了一系列Jaccard相似度度量，以建立过去观察和未来序列之间的关系。然而，与上述工作不同的是，我们通过引入一个内存库来改进递归表示预测框架，该内存库可以维护从训练数据中学到的典型活动语义。此外，我们通过整合一次性转移范式构建了一个混合预测框架，以在目标预测时刻通过探索未来语义进一步校准预测的表示。03. 方法论03.1. 问题形式化03.2. 观察总结03.3. 带有记忆库的循环表示预测row is a memory item Mk (k = 1, 2, , K) with feature di-mension of d, and K is the memory size. In the recurrentrepresentation forecasting stage, given the context featurefj ∈ Rd (i.e., a query) at time-step j (j ≥ to), the repre-sentation at the next time-step is predicted by an attention-based memory addressing mechanism, as follows:ˆej+1 = wj+1M =K∑k=1wkj+1mk,(3)wkj+1 =exp (d (fj, mk))Kexp (d (fj, ml)),(4)kj∥.(5)139070Figure 2. 提出的HRO方法的概述，将带有记忆增强的循环表示预测和一次性表示预测集成到一个统一的框架中。0其中 w j +1 ∈ R 1 × K 是通过 softmax操作进行归一化的注意力权重向量，w j +1 的第 k个条目，即 w k j +1 ，表示第 k 个记忆项对于时间步 j +1的表示预测的贡献。d ( ∙ ,  ∙ )是一个余弦相似度函数，定义如下：0d ( f j ,  m k ) = m k f j0关于记忆库的讨论。由于记忆库在训练阶段对整个数据集是共享的，它可以总结和存储长期的典型活动语义。因此，在每个时间步，查询上下文特征 f j可以从记忆库中回忆出紧凑的典型活动模式，以预测有区别的未来表示。此外，从多假设建模的角度来看，每个记忆项m k可以被看作是一种潜在的假设。考虑到未来预测的不确定性，我们得到一个分布 w j +1，用来反映每个假设成为未来的概率。0对比学习。为了进一步规范循环表示预测的学习过程，受[40, 54]中的工作启发，我们采用对比学习范式，通过区分正样本和负样本中的正对组来提高表示能力。具体地，在每个预测时间步 j ，给定目标正样本 e j 和负样本集合 S = { s n j } N n=1 ，其中 N 为样本数量，对比损失函数定义如下：0L con j =  − l0exp ( φ (ˆ e j ,  e j )) + ∑ s n j ∈ S exp ( φ (ˆ e j ,  s n j )) ,0其中 φ ( ∙ ) 是一个点积函数，ˆ e j是预测的表示。目标正样本 e j是通过在当前预测时间步使用共享特征提取器 ϕ ( ∙ )提取特征生成的，即 e j = ϕ ( v j )。为了保证负样本集的多样性，我们随机从具有与目标正样本不同活动标签的视频剪辑中采样特征。最小化这个对比损失迫使模型意识到不同自我中心活动之间的语义差异，这有助于预测有区别的未来表示。记忆库学习。经验上，我们发现仅仅依靠活动预测任务的分类损失来学习一个紧凑而有区别的记忆库是不足够的。因此，我们设计了两个新的损失项，基于多样性和稀疏性方案，来调节记忆库的学习。首先，多样性方案意味着每个记忆项对应一个唯一的活动原型，应该与其他项区分开来。因此，多样性损失基于正交约束来定义，如下所示：Lsj = ∥wj∥1 .(8)Specifically,intheofflinetraining,giventhevideoclipaftertheanticipationtime-stepdenotedas Vf={vto+ta+1, ..., vtf},we first summarizeitscontentbyextractingcontextfeatureftf ,i.e.,ftf=ψ(ϕ (vto+ta+1) , ..., ϕ(vtf)).Then, we intro-duce a transition layer ρ (·), which projects the anticipatedcontext feature fto+ta into another space to simulate therepresentations containing the future activity semantics ofVf, in a one-shot transferring manner. To achieve this goal,we define a feature similarity learning loss, as follows:LT = exp(−d(ρ (fto+ta) , ftf)).(9)where d (·, ·) is a cosine similarity measurement function,and the transition layer ρ (·) is implemented as a multi-layerperceptron (MLP).Training Objective.The representation generated bythe one-shot transfer is directly utilized for egocentricactivity anticipation at the target time-step, i.e., ˆyf=P (ρ (fto+ta)), where P (·) denotes a linear classifier and ˆyfis the anticipated activity category. To facilitate the learn-ing of the basic feature extractor and aggregator, we alsoimpose an activity classification task on the observed videoclip, using the shared classifier, i.e., ˆyo = P (fto). In ad-dition, considering that two consecutive activities in a longperiod of an event usually involve latent semantic relation-s, we mine this prior knowledge by explicitly exploring thescore-level transition. Thus, we employ another linear pro-jector G (·) to predict the next activity, based on the predict-ed activity score of the observed clip, i.e., ˆyo→f = G (ˆyo).Thus, the classification-level loss function is designed byintegrating these three parts, as follows:LC = LCE (ˆyf, yf) + LCE (ˆyo, yo) + LCE (ˆyo→f, yf) ,(10)where LCE (·, ·) denotes the cross-entropy loss function, yfand yo are the ground-truth label of target future activityand observed activity, respectively. By incorporating otherlearning criteria in Eq. (6), Eq. (7), Eq. (8) and Eq. (9), theoverall training objective function is defined as follows:L = LC + αta∑j=1Lconj+ βLd + γta∑j=1Lsj + λLT ,(11)where the parameters α, β, γ and λ are used to balance thecontribution of the corresponding loss terms.Inference. In the inference stage, we emphasize that ourproposed framework only has access to the observed videoclip (i.e., with a length of to time-steps), which follows theonline manner for the egocentric activity anticipation task.Specifically, after extracting context features from the ob-served video clip, we first recursively forecast the represen-tations using the memory bank, for ta time-steps. Then, atthe target anticipation time-step, the anticipated features arefed into the transition layer to obtain the future-semantics-enhanced representations, which are further utilized for pre-dicting the target activity category score ˆyf. On the otherhand, we can predict the observed activity category scoreˆyo, based on the observed video clip. Then, we directly pre-dict the category score of the next activity, ˆyo→f, using thescore-level transition. Thus, the final category score of thetarget activity is obtained by averaging the scores of both ˆyfand ˆyo→f, i.e., ˆyfinal = ˆyf +ˆyo→f2.4. Experiments4.1. Experimental SetupData Sets. We evaluate our proposed method on two large-scale egocentric activity data sets, including EPIC-Kitchens[9] and EGTEA Gaze+ [32]. The EPIC-Kitchens data set isconstructed by collecting activities performed by 32 partic-ipants in diverse kitchen environments. It involves 125 verb139080一个独特的活动原型，应该与其他项区分开来。因此，多样性损失基于正交约束来定义，如下所示：0L d = || MM T  −  I || F , (7)0其中 I ∈ R K × K 是单位矩阵，∥∙∥ F表示Frobenius范数。其次，通过从记忆库中稀疏地抽取一小部分项，而不是从所有记忆项中密集采样典型活动模式，可以合理地预测特定时间步的未来表示。因此，为了避免在K个假设（即记忆项）上分配均匀的概率分布，我们制定了一个稀疏正则化损失，以对每个预测时间步的权重向量 w j施加约束，如下所示：03.4. 一次性转移的活动预测0一次性转移。由于自我中心的活动预测本质上是一个在线任务，目前大多数方法主要依赖于目标预测时间步之前的观察信息和预测表示。然而，即使预测的表示包含正确的活动语义，我们观察到在目标预测时间步之后缺乏上下文特征仍然很难实现令人满意的预测性能。因此，为了缓解这个问题，我们提出在训练阶段以离线方式明确探索目标预测时间步之前和之后的表示之间的关系。为了避免长时间的循环预测，我们利用一次性转移范式，引入表示过渡层，以弥合目标预测时间步之前和之后的语义差距。Table 1. Egocentric activity anticipation results of different methods on the EPIC-Kitchens validation set.MethodsTop-5 Activity Accuracy (%) @ different ta (s)Top-5 Acc. (%) @1sM. Top-5 Rec. (%) @ 1s21.751.51.2510.750.50.25VerbNounAct.VerbNounAct.DMR [47]////16.86///73.6629.9916.8624.5020.8903.23ATSN [8]////16.29///77.3039.9316.2933.0832.7707.60MCE [15]////26.11///73.3538.8626.1134.6232.5906.50SVM-TOP3 [2]////25.42///72.7038.4125.4241.9034.6905.32ED [17]21.5322.2223.2024.7825.7526.6927.6629.7475.4642.9625.7541.7742.5910.97FN [11]23.4724.0724.6825.6626.2726.8727.8828.9674.8440.8726.2735.3037.7706.64RL [36]25.9526.4927.1528.4829.6130.8131.8632.8476.7944.5329.6140.8040.8710.64EL [26]24.6825.6826.4127.3528.5630.2731.5033.5575.6643.7228.5638.7040.3208.62RU-LSTM [16]29.4430.7132.3333.4135.3236.3437.3738.9879.5551.7935.3243.7249.9015.10SRL [40]30.1531.2832.3634.0535.5236.7738.6040.49//35.52///LAI [54]//32.5033.6035.6036.7038.5039.40//35.60///ActionBanks [41]////////80.0052.8035.60///AVT [18]////////79.9054.0037.60///MethodsTop-5 Activity Accuracy (%) @ different ta (s)21.751.51.2510.750.50.25DMR [47]////55.70///ATSN [8]////40.53///MCE [15]////56.29///ED [17]45.0346.2246.8648.3650.2251.8649.9949.17FN [11]54.0654.9456.7558.3460.1262.0363.9666.45RL [36]55.1856.3158.2260.3562.5664.6567.3570.42EL [26]55.6257.5659.7761.5864.6266.8969.6072.38RU-LSTM [16]56.8259.1361.4263.5366.4068.4171.8474.28LAI [54]////66.7168.5472.3274.59SRL [40]59.6961.7964.9366.4570.6773.4978.0282.61HRO (Ours)60.1262.3265.5367.1871.4674.0579.2483.92139090HRO（我们的方法）31.30 32.67 34.26 35.87 37.42 38.36 39.89 42.36 81.53 54.51 37.42 45.16 51.78 17.500总共有19个动词类别，331个名词类别和2513个独特的活动类别。我们遵循[16]中相同的实验设置，将公共训练集中的28,472个活动片段进一步分为23,493个片段和4,979个片段用于训练和验证。EGTEAGaze+数据集包含10,325个活动片段，涉及19个动词类别，51个名词类别和106个独特的活动类别。我们按照[32]中的评估设置报告三个分割的平均性能。0实现细节。对于EPIC-Kitchens和EGTEAGaze+数据集，每个时间步占据0.25秒的时间段，即τ =0.25。按照[16，40]的设置，基本观察时间步的长度设置为6，即to = 6，预期时间步的最大长度设置为8，即ta =8。因此，视角活动预测任务的规定如下。基于观察到的视频剪辑的1.5秒，模型需要输出接下来八个时间步的预测结果，即0.25秒，0.5秒，0.75秒，1秒，1.25秒，1.5秒，1.75秒和2秒。为了与其他最先进的方法进行公平比较，我们直接使用[16]提供的每个时间步的特征。递归聚合器ψ（∙）采用GRU块实现，隐藏状态的维度设置为1024，即d =1024。EPIC-Kitchens和EGTEAGaze+的内存库大小K分别设置为500和100。在训练阶段，目标预测时间步之后采样的视频剪辑长度为3秒，即12个时间步。在对比学习中，每个时间步采样128个负样本组成负训练集，即N =128。方程（11）中的权重参数α，β，γ和λ分别设置为0.7，0.01，0.02和0.01。我们提出的模型使用SGD优化算法进行150个epoch的训练，初始学习率为0.1，动量为0.9。批量大小为128。对于多模态评估设置，我们首先通过分别将RGB、光流和对象特征作为输入训练三个独立的分支。然后，通过这三个分支的预测进行后期融合，得到最终的预测结果。为了公平比较，0表2. 在EGTEA Gaze+数据集上不同方法的视角活动预测结果。0在后续的实验中，如果没有特别说明，将报告多模态设置下的结果。04.2. 与最先进方法的比较0EPIC-Kitchens的结果。表1总结了我们提出的方法与EPIC-Kitchens验证集上其他最先进方法的比较结果。我们可以发现，所提出的方法在所有评估的预测时间点上始终优于其他竞争对手。我们提出的HRO框架在Top-5活动准确率方面达到了37.42％，比ActionBanks[41]高出1.82％，与基于Transformer的模型AVT[18]（37.6％）的性能相当。ATSN [8]和MCE[15]直接将经典的活动识别框架TSN[48]推广到预测任务中，这对于达到令人满意的性能是不足够的。那些在不预测未观察内容的情况下预测未来活动的方法，如FN [11]，RL [36]和EL[26]，表现比基于递归预测的框架（如RU-LSTM [16]，S