Srikanth Malla1 *Chiho Choi1∗∗Isht Dwivedi†Joon Hee Choi‡Jiachen Li ‡‡as well as the ability to generate linguistic descriptions ofthe scene to communicate those risks through an AI agent.Important object identification is becoming a key ingre-dient in autonomous driving and driving assistant systemsfor safety-critical tasks such as behavior prediction, deci-sion making, and motion planning. One set of approacheshave been training the model in a self-supervised manner inaddition to their original tasks (e.g., trajectory prediction orsteering control), while other approaches have been directlytraining their model using the human annotated object-levelimportance. Although explainability of the network predic-tions is of particular importance, none of existing methodscharacterizes captioning about identified important objectsin the form of a natural language description. Addressingthis need, our problem formulation aims to jointly super-vise the explainability that is consistent with identificationof important objects.In the absence of an appropriate dataset for this task, weintroduce a new dataset to the community to facilitate thestudy of producing free-form captions explaining the rea-soning behind the designation of important objects. A natu-ral language description interprets the interaction of an im-portant object with the ego-vehicle and reasons about itsrisk observed from ego-driver’s perspective in driving sce-narios. Our setting of interest and our new dataset, namedDriving Risk Assessment Mechanism with A captioningmodule (DRAMA), are captured through question and an-swering, seeking closed and open-ended video- and object-level attributes from sequence and motion observations.This dataset provides a basis for a comprehensive explo-ration of (i) identifying important objects that may influ-ence the future behavior of ego-vehicle; and (ii) captioningabout why the system holds its beliefs about future risksof these objects. We designed DRAMA with an explicitgoal of visual captioning, particularly in driving scenarios.Each video clip depicts a ego-driver’s behavioral responseto perceived risk that activates braking of the vehicle. Weprovide a detailed analysis of such events through ques-tions that are made by elementary operations (what, which,where, why, how) and through answers that represent video-and object-level attributes with a closed and open-ended re-sponse, which are utilized to create a free-form caption. Ourdesign choices would encourage in-depth understanding ofrisks in driving scenarios and allow us to focus on the cap-10430DRAMA: 驾驶中的联合风险定位和字幕0摘要0考虑到安全关键自动化系统中情境感知的功能，驾驶场景中的风险感知及其可解释性对于自动驾驶和协同驾驶尤为重要。为了实现这一目标，本文提出了一种新的研究方向，即驾驶场景中的联合风险定位及其风险解释，以自然语言描述的形式。由于缺乏标准基准，我们收集了一个大规模的数据集DRAMA（带有字幕模块的驾驶风险评估机制），该数据集包含了在日本东京收集的17,785个交互式驾驶场景。我们的DRAMA数据集包含了关于驾驶风险的视频和物体级问题，并附带重要物体，以实现视觉字幕作为自由形式语言描述的目标，利用闭合和开放式回答来回答多级问题，这可以用来评估驾驶场景中各种视觉字幕能力。我们将这些数据提供给社区进行进一步的研究。利用DRAMA，我们探索了交互式驾驶场景中联合风险定位和字幕的多个方面。特别是，我们对各种多任务预测架构进行了基准测试，并对联合风险定位和风险字幕进行了详细分析。该数据集可在https://usa.honda-ri.com/drama 上获取01. 引言0情境感知是实现智能车辆高级自动化的重要要求。对于智能移动性的情境感知的一个重要方面是能够从驾驶员的视角创建一个可解释的风险感知网络，并建立通过语音命令来传达这些风险的方法，以实现协同和有效的驾驶[16]。在这个意义上，通过字幕生成传达网络对感知风险的理解可以发挥两个功能：作为识别场景中风险因素的可解释模型，以及生成场景的语言描述以通过AI代理传达这些风险。重要物体识别正在成为自动驾驶和驾驶助手系统中的关键要素，用于安全关键任务，如行为预测、决策制定和运动规划。一组方法是通过在原始任务（如轨迹预测或转向控制）之外以自我监督的方式训练模型，而另一组方法是直接使用人工注释的物体级重要性来训练模型。尽管网络预测的可解释性非常重要，但现有方法中没有一种方法以自然语言描述的形式对已识别的重要物体进行字幕生成。为了解决这个需求，我们的问题形式化旨在共同监督与重要物体识别一致的可解释性。在没有适用于此任务的适当数据集的情况下，我们向社区介绍了一个新的数据集，以促进研究产生解释重要物体指定背后推理的自由形式字幕。自然语言描述解释了重要物体与自车的互动，并从自驾驶者的视角推理其在驾驶场景中的风险。我们感兴趣的设置和我们的新数据集名为带有字幕模块的驾驶风险评估机制（DRAMA），通过问题和回答捕捉了从序列和运动观察中寻求闭合和开放式视频和物体级属性的交互。该数据集为全面探索提供了基础，包括（i）识别可能影响自车未来行为的重要物体；以及（ii）关于为什么系统对这些物体的未来风险持有其信念的字幕。我们设计DRAMA的目标是视觉字幕，特别是在驾驶场景中。每个视频剪辑都描述了自驾驶者对感知风险的行为反应，从而激活了车辆的刹车。我们通过基本操作（什么，哪个，哪里，为什么，如何）提出了对这些事件的详细分析，并通过闭合和开放式回答来表示视频和物体级属性，这些属性用于创建自由形式的字幕。我们的设计选择将鼓励对驾驶场景中的风险进行深入理解，并使我们能够专注于字幕的能力0* srikanth@kinetic.auto , Kinetic Automation ��chihochoi@outlook.com , 三星半导体 †idwivedi@honda-ri.com , 本田研究所 ‡jh4.choi@samsung.com , 三星半导体 ‡‡ jiachenli@stanford.edu , 斯坦福大学 1工作主要在本田研究所，美国完成10440对这些事件的字幕进行特征化。为此，我们提出了算法基线，以在各种多任务设置中表征与重要代理相关的感知风险的字幕。本文的主要贡献总结如下：0•我们引入了一种新颖的数据集，提供了与重要对象相关的驾驶风险的语言描述（重点是原因），可以用来评估驾驶场景中各种视觉字幕能力。0•我们提出了一种数据注释策略，以适应通过封闭和开放式回答获得的视频和对象级属性的独特特征。0•我们为驾驶场景中的联合风险定位及其作为自然语言描述的字幕提供了一个新的研究方向，并在我们的DRAMA数据集上对这些任务进行了几个基线模型的基准测试。02. 相关工作0重要对象识别重要代理识别方法可以广泛分为显式学习和隐式学习。像[40,11]这样的显式学习方法将代理重要性估计形式化为二分类问题。这些类型的模型通常通过标准监督学习进行训练。[1,30,34]中提出的方法学习模仿人类注视行为，并预测用作风险代理的像素级注意力图。[24, 17, 33,22]中提出的隐式学习方法被训练用于执行相关任务，如轨迹预测或转向控制。在这些情况下，中间网络激活值被解释为感知风险。更具体地说，[24]中的模型通过对场景中的所有代理进行自我注意力训练来执行未来轨迹预测。自我注意力激活输出被用作代理重要性估计。[22]中提出的因果干预方法假设反例具有固定的真实值。[17,33]中的方法被训练用于预测转向控制和像素级注意力热图，用于估计代理重要性。然而，这些方法都没有解决模型决策的推理问题，也没有以自然语言的形式提供描述，这妨碍了人们对安全关键的自动驾驶（AD）和高级驾驶辅助系统（ADAS）的理解和可解释性。视觉和语言接地视觉和语言接地有两个主要类别：从字幕中检索对象和密集图像字幕。在前者中，像[9,13]这样的算法根据字幕描述在图像中检测边界框。这样的0使用自然语言对对象进行接地的模型已经使用Flickr30K实体数据集[26]进行了完全监督[29,7]或弱监督[41]的训练。在后者中，密集图像字幕方法[15,39, 37]找到了几个区域提议，并使用VisualGenome数据集[20]预测与每个提议相关联的字幕。一些其他工作将视觉注意力应用于字幕生成[35]或驾驶行为的端到端学习[19]的任务。我们的问题设置与密集图像字幕密切相关，因为在检测到相应的对象时生成语言描述。然而，我们的范围专门集中在定位驾驶场景中的风险，其中字幕提供了识别重要对象背后的原因。数据集存在多个用于事故定位[6,40,10]、异常检测[38]或因果对象定位[28]的驾驶场景数据集。尽管这些基准可以用于理解和预测事故和相关的风险属性，但它们本质上无法解释识别重要对象背后的原因。通过解释感知风险的自由形式字幕，可以获得对视觉解释的深入分析。从这个角度来看，我们的DRAMA数据集具有以自然语言描述的形式提供与风险定位相关联的解释的独特功能。少数驾驶数据集旨在为自动驾驶车辆提供以自然语言编写的命令。Talk2Car[9]在nuScenes数据集[5]的基础上添加了自由形式的字幕，以引导自动驾驶汽车在场景中引用的对象的未来路径。BDD-X [18]和BDD-OIA[36]分别具有自由形式和闭合形式的解释，作为自我车辆行为的原因。类似地，HAD[19]为车辆提供自然语言命令，以生成从驾驶员注视信息中学到的显著地图。然而，这些驾驶语言数据集无法用于评估感知风险的视觉解释：(i)局部化对象既不是风险也不是从自我角度来看的重要对象，而只是字幕所指的对象；(ii)这些数据集的标签不足以解决驾驶场景中的视觉解释问题。在[9]中，字幕是从静止图像中生成的，而没有考虑与自我车辆的时间关系。此外，[19]中的像素级显著性不容易映射到重要对象，因为驾驶员的注视通常与驾驶无关。相比之下，DRAMA适应了自我驾驶员对外部事件的行为反应，并探索了从视频观察中获得的视频和对象级语义理解。我们的问题和回答的注释模式类似于VQA [3,20]的概念。然而，DRAMA专门解决了与重要对象相关的驾驶风险的视觉解释问题，这不能被10450图1：DRAMA数据集的示例场景，更多包括VQA的示例请参见补充材料。0使用现有数据集发现：(i)DRAMA通过包含领域特定词汇（如变道、右车道、插入、交通拥堵、停放车辆等）的注释，促进了对驾驶场景的深入分析；(ii)DRAMA旨在以自由形式的语言描述显示场景为何具有风险以及进行了哪些交互。03. DRAMA数据集0DRAMA是一个数据集，提供与重要对象相关的驾驶风险的视觉推理，并可用于评估从驾驶场景中获得的一系列视觉推理能力。我们通过基于基本操作（what、which、where、why、how）生成视频和对象级别的问题和答案来实现这一目标，这些操作代表对象类型、视觉和运动属性、对象位置或对象与自车之间的关系。图2提供了DRAMA的主要组成部分的概述，我们考虑这些组成部分来生成注释。接下来，我们详细介绍了我们的DRAMA数据集及其独特特点。我们首先在第3.1节中概述了数据收集过程，包括传感器配置、原始数据细节、注释模式、质量和隐私。然后，在第3.2节中对数据集进行了统计分析，并通过与公开可用数据集的比较在第3.3节中突出了其独特性。DRAMA数据集的示例场景如图1所示。03.1. 数据集创建0我们使用SEKONIXSF332X-10X视频摄像机（30HZ帧率，1928×1280分辨率和60°水平视场）和GoPRO Hero7相机（60HZ帧率，2704×1520分辨率和118.2°水平视场）在日本东京的城市道路上录制了91小时的视频。这些视频与控制器区域网络（CAN）信号和惯性测量单元（IMU）信息同步。我们根据自我驾驶员对外部情况或事件的行为反应进行了过滤，这些情况或事件会触发车辆的刹车。结果，我们创建了17,785个交互式驾驶场景，每个场景持续2秒。要求注释员将每个场景视为观察，并按照下面的段落中所描述的方式生成标签。DRAMA的注释旨在识别重要对象并生成与之相关的属性和标题，这些对象对自车的运动产生直接/间接影响。为了以这种形式获取数据，我们制定了以下注释模式：0视频级别的问答问题的格式化是为了解决风险和场景属性以及自我行为功能（如自我意图和行为建议）。图2（左）说明了DRAMA中的这些属性。一些问题询问风险是否被察觉或驾驶员的潜在行动是什么，以减轻驾驶风险。有效答案采用闭合形式，如布尔格式（即是或否）或从多个选项中选择一个（如停止、减速、开始移动等）。10460图2：DRAMA数据集的注释模式和示例标签0对象级别的问答如果确定场景具有风险，注释员将进行下一步的对象级别问答。它包括基本操作（what、which、where、why、how），可以构建一个问题，允许自由形式或开放式的回答。除了单选答案外，还允许更复杂的推理，以表示从观察中获得的高级语义理解。图2（右）显示了与我们的视觉推理的基本操作相对应的示例答案，例如查询对象类型（what）、视觉和运动属性（which）、位置和运动方向（where）、关于风险的推理或交互描述（why）以及关系的影响（how）。有关隐私和质量一致性注释过程的更多细节，请参阅补充材料。03.2. 数据集统计0图3a显示了从视频级别的Q/A获得的标签分布。根据基于CAN的车辆刹车激活对原始视频进行过滤，大多数场景（17,066，95.95%）被标记为具有重要对象的风险。对于重要对象的风险推理是在重要对象进行交互时进行的，当自车直行时为94.5%，左转时为2.6%，右转时为2.9%。每个场景根据交互环境进一步分为三组：较宽的道路（51.5%）、交叉口（32.6%）和狭窄的街道（15.9%）。图3b展示了对象级别的Q/A属性的分布。被识别为重要的对象是车辆（71.9%）、行人或骑车人（19.6%）和基础设施（8.5%）。这些重要对象的视觉属性通常可以用开放式回答来回答，例如红色轿车、穿蓝色衬衫的高个子人、红色交通灯等，共计35,038个视觉属性0来自17,066个对象。同样，运动属性、位置、运动方向以及关于代理行为的推理也具有自由形式的值。特别是，推理的描述包括992个唯一的单词，总共出现306,708次。车辆、行人或骑车人以及基础设施的唯一单词数分别为533、608和268。此外，112个唯一单词在所有对象类别中都常见，包括颜色（白色、黑色...）、位置（前面、右边、左边）、冠词（the、an）、介词（from、in、of、at）、助动词（is、are）、副词（ahead...）、名词（street、road、car、ego...）、连词（because、and）和动作（stopped、parked）。单词的分布如图4所示。更多细节请参见补充材料。03.3. 数据集分析0表1显示了DRAMA数据集与现有基准数据集的比较。HDD[27]、Epic Fail (EF) [40]、Street Accident (SA)[6]和DoTA[38]是用于基准测试风险定位或异常检测的对象定位数据集。HAD [19]、BDD-X [18]、BDD-OIA[36]是驾驶中用于描述自车行为建议和原因的字幕数据集。尽管这些数据集在某种程度上与DRAMA相似，但我们同时使用自由形式的语言描述来处理驾驶风险的风险定位和视觉推理。Talk2Car (T2C)[9]是提供与边界框相关联的图像数据集。然而，他们的对象标签与驾驶风险无关，更重要的是，标题是以一种要求汽车采取行动的方式生成的。相比之下，DRAMA提供了与自车视角下的风险相关的重要对象标签，并描述了它们的标题，同时考虑了视频的时空关系。我们在图5中直接将我们的示例场景与[9]进行了比较。我们的标题标签是(10470（a）视频级别Q/A标签的分布0（b）对象级别Q/A属性的分布0图3：VQA属性的分布0（a）所有标签中的40个常见单词0（b）每个类别的单词分布0图4：DRAMA数据集的单词统计0与T2C相比，DRAMA具有1.4倍的标题数量，长度增加了1.6倍。与这些基准数据集不同，DRAMA还提供了视觉问答功能，以评估驾驶场景中各种视觉推理能力。04. 方法论我们引入了一个模型来解决风险定位及其推理问题，该模型由编码器和解码器组成，如图6所示。模型架构的详细信息在补充材料中展示。编码器 给定图像 I t 和时间步骤 t的光流图像 F t，编码器提取视觉特征和光流特征。光流图像 F t是由Flownet 2.0 [14]生成的，使用两个图像帧 I t 和 I t − 1捕捉物体和场景的运动。为了简洁起见，我们在以下部分中省略了 t。为了编码视觉特征和光流特征，我们使用一个在Imagenet[21]上预训练的ResNet-101模型[12]作为骨干网络。这两个特征都是从原始ResNet-101结构之前的两个层中提取的，并且我们添加了自适应平均池化层，以获得固定的输出特征大小为14x14x2048。我们进一步将这两个特征连接起来生成输出特征 E 。解码器解码器被训练用于找到一个边界框（ ˆ y b）作为一个重要的对象，并生成相应的标题描述（ ˆ y c）。在我们提出的模型中，我们首先0使用基于LSTM的循环模型预测一个字幕ˆyc。LSTM的隐藏状态H=[h1,...,hM]被用作自注意力机制[31]的嵌入特征。得到的新特征Hb=[hb1,...hbM]通过hbi=selfattention(HWQi, HWKi, HWVi)获得，其中WQ、WK0而WQ、WK和WV是查询、键和值的参数矩阵。最后，我们使用一个重要对象定位模型找到一个边界框ˆyb。在实验中，字幕预测模型遵循SAT[35]的解码器架构，它是一个带有软注意机制的LSTM模型。此外，我们使用一个基本的多层感知机（MLP）作为重要对象定位模型。损失函数定义如下：0Lb =0N �0j=10��� ˆy(j)b - y(j)b ��� 2; (1)0Lc =0N �0j=10�0k=1 ce � ˆy(j)ck, y(j)ck + λ0P �0i=10�01 -0k=1 α(j)ki0�2�0�0其中(j)表示第j个数据，Lc的右项是从SAT[35]中调整的双重随机注意力正则化器。αki表示字幕预测中注意力图中的一个元素，M和P分别是字幕长度和注意力图中的像素数，10480仅风险定位 定位和字幕 字幕0数据集 HDD [28] EF [40] SA [6] DoTA [38] DRAMA（我们的） T2C [9] HAD [19] BDD-X [18] BDD-OIA [36]0风险定位 � � � � � 否 否 否 否 风险字幕 否 否 否 否 � 否 � � � 场景数量 137 3,000 1,733 4,677 17,785 9,217 5,744 6,984 11,303 字幕数量 - - - - 17,066 11,959 22,366 26,534 27,265 平均字幕长度 - - - - 17.97 11.01 11.05 8.90 16.810VQA 否 否 否 否 � 否 否 否 否 问题数量 - - - - 77,639 - - - - 答案数量 - - - - 102,830 - - - - 环境属性 � 否 否 否 � 否 否 否 推理/为什么属性 � 否 否 否 � 否否 � � 场景级风险属性 � � � � � 否 否 否 自由形式字幕 否 否 否 否 � 否 � � 否0表1：DRAMA与公共基准驾驶数据集的比较0图5：（a）Talk2Car[9]和（b）我们的DRAMA数据集中一个示例场景的比较。两个场景都将左侧的白色车辆注释为对象标签（绿色边界框）并提供相关字幕。 （c）显示了DRAMA的视频和对象级属性的片段，对应于（b）的场景。0λ是一个超参数。然后，我们使用多任务损失[8]来结合Lb和Lc，得到0Ltotal = 0σ21Lb +10σ22Lc + log(σ1σ2)，(3)0其中，σ1和σ2分别表示损失Lb和Lc的相对权重。多任务损失函数通过训练权重σ1和σ2考虑了每个任务的同方差不确定性。05. 实验05.1. 模型比较0我们通过与各种基准模型进行比较，评估我们的模型在新的DRAMA数据集上的性能。为了公平比较，所有基准模型使用相同的骨干网络；预训练的ResNet-101[12]作为编码器，SAT[35]结构作为字幕预测（CP），重要对象定位（IOL）使用MLP。由于我们的模型是基于字幕定位的，我们将其命名为LCP（带有字幕先验的定位）。我们的基准模型描述如下：0The reported average caption length is without ego action for faircomparison with our dataset, otherwise it is 13.92 for BDD-X and 8.36for BDD-OIA.0ResNet-101 [12] This is a strong baseline model thatidentifies an important object only, which is trained withEquation (1). As mentioned earlier, our structure for thelocalization task is built from the original ResNet model byreplacing its last two layers by adaptive average pooling andMLPs as the decoder. Therefore, this model provides aninsight on the efficacy of an additional optical flow input aswell as our total loss function in Equation (3).0SAT [35] This baseline model only generates a captiondescription. The model takes both an image andoptical flow as input and have the loss function ofEquation (2). We compare this baseline with LCP todemonstrate our captioning capability under jointtraining of risk localization and reasoning.0Independent captioning and localization (ICL) The ICLmodel simultaneously finds the important object ˆ y band caption description ˆ y c independently from oneanother. This model is trained using the dual task lossfunction in Equation (3), same as our LCP model.0Captioning with localization prior (CLP) In opposition toLCP, this baseline model has the decoder architecture thatgenerates captioning using a localization prior. We add aregion of interest (ROI) pooling to improve the model’scaptioning capability. The ROI pooling produces the im-10490Figure 6: DRAMA Architecture: the encoder and decoder modules0Important object feature E a from the encoder output E isextracted. Then, we concatenate E a with the output ofIOL, and the concatenated features are used as the inputof the caption generation. This model is similar to [15]with a small variation of skip connection of the encoderoutput E, to get global information. This model is alsotrained using the dual task loss function in Equation (3).We evaluate the effectiveness of optical flow informationby creating additional baselines using LCP, ICL and CLPmodels without optical flow stream. Furthermore, wegenerate additional LCP without the multi-task lossfunction, which validates our effort of balancing themulti-task training.05.2. Experimental Setting and Metrics0We split the DRAMA dataset into 70% train, 15%validation and 15% test. The model parameters arechosen on the validation set at training time, and wereport the performance of this model tested on the testset. The captioning performance is evaluated using thestandard metrics such as BLEU-1 (B1) [25], BLEU-4 (B4)[25], METEOR (M) [4], ROGUE (R) [23], CIDER (C) [32], andSPICE (S) [2]. We use Mean-IOU (Intersection Over Union)and accuracy for IOU > 0.5 for the evaluation ofimportant agent localization. IOU is a standard metric inobject detection, dividing the area of overlap by the areaof union between the predicted bounding box and theground-truth bounding box. We provide othersettings in the supplementary.05.3. Results0Quantitative comparison Table 2 shows the quantitativeresults of our model and baseline models on the DRAMAdataset. First, we can see that adding the optical flowinformation is a positive effect in captioning across all thedecoder baselines including LCP, ICL and CLP. The reasonis the words related to motion such as moving, stopped,etc. can be captured by the optical flow information, butnot by a single image. Since the video dataset can onlyuse optical flow images, our DRAMA dataset has morebenefits than the image dataset such as the Talk2Car [9]dataset. Next, our LCP model performs better than ICLand CLP.0Baselines in important object identification. It makessense that LCP performs well in the localization due to anadditional self-attention module. Note that the captioningperformance of LCP is higher or similar to that of CLP andbetter than those of ICL and SAT. It implies that betterlocalization derived by self-attention influenced to findinga better multi-task weighting in our loss function.Although the ROI pooling in the CLP model improves thecaptioning comparing to ICL and SAT, it seems tonegatively affect risk localization. Additionally, it showsdual task loss helps to improve the overall performance ofLCP (LCP vs LCP without DTL). We compare our model tothe single task baselines, SAT and ResNet-101, in detailwith respect to the type of objects. We use the CIDER andMean-IOU metrics for the comparison. Table 3 shows thatour model performs better than SAT for all types ofobjects in the captioning. Also, important objectidentification of our method is better than that of theResNet-101 model for most of object types. Itdemonstrates that both tasks are highly correlated andcan benefit being tackled together. Qualitativecomparison Figure 7 shows the ground truth and ourprediction in the cases where the important objects arepedestrians (a,g), vehicles (b,c,e,f) and infrastructure (d,h).Figure 7a and 7b show the model learns a
我的内容管理
展开
