车辆-行人混合场景中的运动轨迹预测方法

10383车辆-行人混合场景毕慧坤1、 2方忠1毛天禄1王兆奇1邓志刚2 *1移动计算与普适设备北京市重点实验室中国科学院计算技术研究所2休斯顿大学@ict.ac.cn，zdeng4@uh.edu摘要对象的轨迹预测对于各种应用（例如，自动驾驶和异常检测）。 大多数现有的方法集中在均匀的行人轨迹预测，行人被视为没有大小的粒子。然而，它们不能直接处理拥挤的车辆-行人混合场景，因为车辆在现实中受到运动学的限制，理想情况下应被视为刚性的非粒子对象。在本文中，我们解决这个问题，使用不同的LSTM异构车辆和行人- ans。具体来说，我们使用一个有方向的边界框来表示每个车辆，计算的基础上，其位置和方向，以表示其运动轨迹。然后，我们提出了一个名为VP-LSTM的框架来同时预测车辆和行人的运动轨迹。为了评估我们的模型，一个大型的数据集，包含车辆和行人的轨迹，在车辆行人混合场景是专门建立的。通过与现有方法的比较，验证了该方法在车辆-行人混合场景中运动轨迹预测的有效性和优越性。1. 介绍由于轨迹预测在计算机视觉领域的广泛应用，包括自动驾驶的导航、异常检测和行为理解，因此轨迹预测是一项具有挑战性和必要的任务。行人的轨迹预测近年来已被广泛研究[34，28，5，2，9，32，29]。通过对复杂环境中的人与人之间的交互进行编码，这些方法可以基于历史和周围的人类行为来预测未来的轨迹。还提出了许多方法来基于车辆的状态来预测车辆轨迹。*通讯作者图1.车辆-行人混合场景中的各种交互的图示。车辆-车辆、人-人和车辆-人交互分别用蓝色实线、红色实线和橙色虚线表示。灰色虚线框中的车辆a和行人b与周围的行人有类似的互动。b自由行走以避免与D.然而，受运动学限制的车辆a停止以避免与c碰撞。周围的车辆[18，14，6]。所有上述方法都预测了同质交通代理的轨迹，即只有行人或只有车辆的整个场景。此外，在这些方法中，每个代理被视为具有相同运动模式的粒子。然而，这种朴素的简化不适用于常见的车辆-行人混合场景，其中车辆和行人具有不同的尺寸和运动模式。如图如图1所示，车辆-行人混合场景中不同交通主体之间的交互包括人-人、人-车辆和车辆-车辆交互。自由移动的行人被视为粒子，而车辆应被视为刚性的，非粒子对象理想地由于其大小。另外，现有的交通智能体预测方法只预测了用位置表示的运动轨迹，不足以准确描述车-人混合场景中异类车辆的运动轨迹。图中车辆向前行驶的不同方向。1，将导致与周围代理的不同交互。此外，在现有的轨迹预测文献中，很少考虑因此，预测作为刚性非粒子的异质飞行器的精确运动一BCD10384在车辆-行人混合场景中分别确定行人、物体以及行人轨迹是重要的，并且通常被认为是一个广泛开放的问题。在这项工作中，我们把车辆作为一个刚性的非粒子对象，并使用一个定向包围盒（OBB）来描述其详细的轨迹。此外，我们使用OBB的方位来表示车辆的向前行驶方向。具有相同位置但不同取向的车辆将引起与周围试剂的不同相互作用。我们进一步提出了车辆-行人LSTM（称为VP-LSTM）来同时预测行人和车辆的轨迹。车辆的运动轨迹可以基于它们的位置和取向来学习和预测所有上述三种类型的相互作用（车辆-车辆，人-人，车辆-人），被认为是在我们的模型。通过许多实验和与现有方法的比较，我们展示了VP-LSTM在大规模混合交通数据集上的优势这项工作的主要贡献包括：（i）我们提出了一种新的多任务学习架构VP-LSTM，用于在车辆-行人混合场景中联合预测车辆和行人的运动轨迹，其中车辆和行人分别被视为刚体和粒子。由于异构车辆的大小信息，我们利用OBB表示车辆和预测他们的位置和方向。由于车辆和行人的轨迹定义不同，采用不同的方法对各自的轨迹进行优化，变量高斯分布（车辆d=4，行人d= (ii)我们引进一个大规模的高-质量数据集包含两种情况下（BJI和TJI）在不同交通密度下的异质车辆和行人的轨迹。该数据集可在www.example.com获得http://vr.ict.ac.cn/vp-lstm。2. 相关工作人类轨迹预测 根据特征的选择方式，现有的人类轨迹预测方法可以大致分为手工制作[11，4，17，23，31，24，30]和基于DNN的方法。通常，基于手工制作的特征的方法是低效的，并且只能生成有限的结果。最近，基于DNN的方法由于网络中复杂的人-人交互的内在编码而表现出Alahi等人[2]提出了一个社会LSTM模型来预测行人的轨迹。Varshneya等人[28]提出了一种序列到序列模型，结合软注意力机制来学习动态对象的运动模式。Bartoli等人[5]采用了“上下文感知”LSTM模型来预测拥挤空间中的人体运动。基于DNN的冰毒ODS还基于各种注意力机制进行了扩展[7，29]。Gupta等人[9]使用具有池化模块的生成对抗网络来预测社交pedes-trians的运动。CIDNN模型[32]将位置映射到高维特征空间，并使用内积对人群交互进行编码。分别提出了行人头部姿势和活动轨迹的联合预测所有这些方法都使用DNN模型很好地编码了人与人的交互，并且可以基于历史轨迹序列和交互更好地预测人的轨迹车辆轨迹预测。根据不同的假设水平，车辆轨迹预测的任务可以分为以下几类[19]：基于物理、基于机动和交互感知的模型。高斯过程回归流程[15]和贝叶斯非参数方法[13]忽略了场景中对象之间的相互作用车辆轨迹可以基于语义场景理解和最优控制理论来预测[16]。Lee等人。[18]提出了DESIRE来预测动态场景中交互代理的未来距离Kim等人通过构建占用网格图提出了一种基于LSTM的概率预测方法[14]。 Deo等人建立了一个卷积社会汇集网络[6]来预测高速公路上的车辆轨迹。上述方法都是将车辆作为粒子来处理，只关注车辆的宏观行为，而没有刻画异质车辆与行人之间潜在的相互作用。Ma等人提出了一种基于LSTM的算法TrafficPredict，用于预测异构流量代理的轨迹[22]。但是车辆的运动学被忽略了。人类和车辆轨迹数据集。已经建立了相当多的人类轨迹数据集用于分析人群行为[20，25，35，3，27，33]。包括详细车辆轨迹和高质量视频的广泛已知的交通数据集是下一代仿真（NGSIM）程序[1]。虽然车辆的精确位置被记录，只有车辆-车辆交互行为是不足以描述车辆-行人混合场景，特别是在拥挤的空间。Ma等人使用Apollo采集车来收集异构交通代理的轨迹数据集[22]。然而，Apollo数据集的可用在线部分包含可能由LiDAR引起的许多噪声。3. 我们的方法我们的目标是预测的运动轨迹的所有异构代理在车辆行人混合场景联合，同时。我们在本节中介绍了所提出的VP-LSTM模型的细节。10385H（vv，1）不H（vp，1）不h（p，3）t−1h（v，2）t−1h（p，1）t−1ht−1（p，2）VOPOv2p3p1p2一XJJJJ不JJ不不不t−1不t−1j，γtfl，ttttttf l， t f r， t， rl， tJf l tyγjJt+1一个j我不是t+1Jt+1Jt+1εj不PjβjJ我的天rl， tJPJf r， tytxt+1Prr，t我我tt(a)（b）第（1）款图2.所用符号和术语的说明。在t处的车辆的速度和取向分别由下式示出：红色箭头和紫色箭头。 蓝色箭头是v1的速度行人岛 (a)绿色矩形是vj的OBB，顶点表示为P j ={P j得双曲余切值.Jfr，t，Prr，t，PJrl，t{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}βj表示图3.混合社会统筹的说明任何探员-在车辆-行人-混合场景（在这里，我们采取车辆方向相对于X轴的平移角度γj是角度方向和速度之间的关系。 (b)黑色虚线vl作为示例），其邻居的隐藏状态分别在VO和PO上被池化。v1场景中的交互是是车辆的运动路径vj，并且εj表示（vp，1）（vv，1）在两个相邻步骤处的取向。3.1. 制剂我们假设在车辆-行人混合场景中分别存在总共N个行人和M个车辆对于行人pi（i∈ [1，N]），他/她在步骤t处的轨迹表示为：由位置xi=（x，y）i表示。 输入/输出轨迹用Ht和Ht捕获。3.2. 行人和车辆模型对于任何行人Pi和任何车辆Vj，我们首先使用具有ReLU非线性的单独嵌入函数Φ（·）来如下嵌入Xi、Pj：e（x，i）=φ（xi，Wx）（P，j）jtt tt=φ（P∈，t，WP），φ ∈（fl，f r，rr，rl）（一）一个人，是一个人。∗（P，j）e（P，j）=φ（e，f（Pfr，j）（Pr，j）（Pr，j）选项。由于车辆的尺寸信息，我们将车辆视为刚体，用OBB表示。 车辆的输入轨迹由时间序列表示OBB上的四个顶点的顺序。如示于图在图2（a）中，对于车辆vj（j∈ [1，M]），其在步骤t处的输入轨迹由Pj= {Pj 得双曲余切值.，Pr t，P}。这里tt，ett，ett ，ett ，WP）。这里Wx、WP* 和WP是嵌入权重。混合社交池。在[2]中提出并在[10，9]中发展的社会汇集机制可以捕获拥挤空间中行人的运动动态。我们在我们的网络中采用这种汇集方案来收集车辆和行人在J，t =（x*，y*）i，* ∈（f l，fr，rr，rl）.小区我们在[2]中使用了一个类似的No×No单元格网格，称为占用图，它以由于OBB版本之间的几何约束tices，我们不采取的OBB上的四个顶点的位置作为车辆的输出轨迹在这里我们利用行人或车辆。表示邻域的大小所有邻居的位置（包括行人和车辆）被汇集在占用地图上。J J位置和方向，由yt表示 =（x，y）tpi和vj的隐藏状态，表示为h（p，i）和h（v，j）和a=（αx，αy）作为t t的j，t，t分别携带它们的潜在表示。通过v在步骤t.受[10]以前工作的启发，在或-为了保证方向的连续性，我们选择了一个矢量表示，而不是角度表示，来表示方向。aj是从yj开始朝向vj定向的向量的锚点。占用地图，行人和车辆共享具有隐藏状态的潜在表示。如图3、分别为车辆和行人建立占用地图VO和PO。汇集发生在车辆-行人混合场景中涉及的车辆vj上，如下所示：在这项工作中，为了联合预测车辆和行人的轨迹，我们馈送行人（xi）和车辆（Pj）的运动轨迹序列。H（vp，j）（m，n，j）=∑k∈POj（p，k）t−1，H（vv，j）（m，n，：）=∑l∈VOj（v，l）t−1。yXy一XPHHP10386（二）其中h（p，k）是行人的隐藏状态在从步骤t=1到t=Tobs的观察周期中，t−1j（v，l）输入.然后，行人的位置，以及两个位置。预测中车辆的位置（yj）和方向（aj包含在车辆v的PO中;类似地，ht−1 是VO中包含的车辆的隐藏状态t t车辆vj的索引，m和n表示N×N可以同时预测从步骤t=1到t=Tpred的时间段亲切地网格因此，H（vp，j）和H（vv，j）携带车辆-人交互。t t10387不HLSTM不pXHHLSTMOt tHtHt tOt−1t， tt，L t不ttθ和车辆-车辆相互作用。对于行人pi，人-人交互和人-车辆交互以类似的方式定义分别表示为H（pp，i）和H（pv，i）协方差矩阵Σ（v，j）。以前的工作[10]研究了高斯参数优化的高维问题。 对于更高维的问题，成对相关项不能被优化和用于t t在混合社交池化之后，使用具有ReLU非线性的单独嵌入函数Φ（·）来嵌入针对vj的异构交互，如下所示：e（vp，j）=φ（H（vp，j），Wvp），e（vv，j）=φ（H（vv，j），Wvv）. （3）这里W vp和W vv表示对应的嵌入构建协方差矩阵。 其主要原因包括：（一）每个相关项的优化过程是独立的;以及（ii）多个变量需要满足正定性约束[26]。在[10]的工作之后，我们采用Cholesky面-torization优化参数的车辆。 与H HJ（pp，i）（pv，i）i（v，j）车辆重量v. 行人P的ET和ET类似地用嵌入参数Wpp和Cholesky因式分解Σt=LTL，我们先求幂Wpv.H是L的对角线值，使其唯一。 然后，我们用以获得协方差矩阵Σ（v，j）。这里Lt tVP-LSTM的递归。最后，递归等式-行人Pi和车辆Vj的情况如下：是一个4× 4上三角矩阵。优化过程四维高斯多变量分布可以（p，i）（p，i）（x，i）（pp，i）（pv，i）p可以被变换为在L中搜索十个标量值并且在L中搜索四个标量值。ht= LSTM（ ht−1， et， et ， et， WLSTM）平均参数，即μ（v，j）=（μx，μy，μα，μα）（v，j）。（四）tx yth（v，j）=LSTM（h（v，j），e（P，j），e（vp，j），e（vv，j），Wv）我们表示上三个向量中的十个向量化标量值tt−1t ttLSTM对于vj，t处的角矩阵L为θ（v，j）。的参数这里，WpvLSTM 是用于Lt车辆行人和车辆。3.3. VP LSTM优化对数似然损失：[μ（v，j），θL（v，j）]=Wvh（v，j）（七）L（v，j）（WP，WP ，WP，WP，WP，Wvp，Wvv，Wv，Wv）=作为一个多任务问题，我们对各个模块采用不同的优化方法。整个网络通过最小化各自的目标来进行端到端的训练。f l f rrr rlT预测值-Σt=Tobs+1HH LSTM Olog（P（yjaj|µ（v，j）θ（v，j）（八）场景中的车辆和行人优化行人。VP-LSTM分别估计行人和车辆的单独d变量条件分布。对于行人，我们创建一个双变量高斯分布（d=2）来预测位置xi=（x，y）i. 根据[8]的工作，分布为这里，L（v，j）用于车辆v，j。为了避免过度拟合，我们还将l2正则化项添加到行人的轨迹损失上（等式10）。6)车辆（Eq. 8），分别。3.4. 位移预测t t我们的模型可以同时预测未来的位置由行人pi的平均值μ（p，i）=（μx，μy）（p，i）和系数xi=（xy）i参数化，并且位置、t tt t t t方差矩阵Σ（p，i）。 具体地，对于二元高斯yj=（x，y）j和方向aj=（αx，αy）j，对于车辆vj。tt t t t t分布，Σ（p，i）可以通过优化标准差σ（p，i）=（σx，σy）（p，i）和相关系数ρ（p，i）[8]得到在VP中的行人模块的参数-通过占用地图分别为行人和交通工具，逐帧异构交互被汇集。在t处的行人和车辆的预测运动学轨迹分别由下式给出：（x，y）iN（µ（p，i），σ（p，i），ρ（p，i））LSTM可以通过最小化负对数来学习可能性损失如下：tt t（xyα）jN（μ（v，j））不（v，j），L）（九）[μ（p，i），σ（p，i），ρ（p，i）] =Wph（p，i）（五）t t tJ Jt ttO t−1基于采样位置yt=（x，y）t 和方向-L（p，i）（W，Wpp，Wpv，Wp，W）=aj=（αx，αy）j，等式9、OBB的输入顶点T预测值-Σt=Tobs+1log（P（xi|µ（p，i）σ（p，i）ρ（p，i）（六）普吉* ，t+1，*∈（f l，fr，rr，rl），和W，，x，y10388tt∗不不不不t，t，t在t+1时由下式给出（aj−yj）·excosβ=（十）其中L（p，i）是针对行人p，i的轨迹。||aˆj−yˆj||车辆优化与行人不同，我们使用四维高斯多变量分布-（d=4）来预测位置yj=（x，y）j和方向-普吉* ，t+1=POΣcosβjsinβjΣT−sinβjcosβj+yj.（十一）t taj=（αx，αy）jof vehicles此外，分配是通过-O o o o Ox是沿X轴的单位向量P*={Pf l，Pfr，Prr，Prl}由平均值μ（v，j）=（μx，μy，μα，μα）（v，j）来表示，表示以坐标原点为中心的OBB，并且为tx yt10389EgtDEdEyD平均误差Ed（像素）Dfm不不不不不pf m2f lfr表1.我们数据集的规格（一）（b）第（1）款（c）第（1）款（d）其他事项图4.（a）和（b）在高交通密度下的TJI和低交通密度下的BJI中示出一帧的带注释的异构车辆和（c）（d）分别显示TJI中行人和车辆轨迹的示例。定向在正X轴的方向上，其由OBB的宽度w和长度l确定。如[9]中所分析的，轨迹预测本质上是一个除[9]中设计的变量损失函数外，本文还从分布N（μ（v，j），θL（v，j））中随机抽样，得到kv个可接受的飞行器运动轨迹。KP 行人的可能轨迹可以是一般的，以类似的方式通过采样N（μ（p，i），σ（p，i），ρ（p，i））来计算。车辆和行人的最佳预测t可以选择为Lv=min ||Lp=||andLp=105150841256100375425022510000 625012500 18750 2500031250 37500序列图5. BJI数据分析。橙色实线和虚线分别表示γ和ε的角度（图2（b））。其他三条曲线分析误差Ed（等式2）。第12段）。γ> 5度的病例，因噪声引起，省略。这表明车辆，包括尺寸信息，与行人有显著差异，并且方向-kvt t米||，尊 重 我。||,respect iv el y.kpt t t t t4. 车辆-行人-混合数据集现有的人类轨迹数据集[20，25，35，3，27，33]仅关注同质行人。另一方面，现有的车辆轨迹数据集NGSIM [1]仅捕获车辆的运动。为此，我们专门构建了一个新的车辆-行人混合数据集，该数据集被设计用于车辆-行人混合场景中车辆和行人的轨迹分析原始视频数据是用无人机从自上而下的视图获取的我们选择了两个交通场景，其中大型异质车辆和行人在不同的交通密度下通过。两种场景（分别称为BJI和TJI）中的轨迹被仔细注释，包括6405名行人和6478辆车辆（图12）。4）. 数据集的详细信息总结见表1。速度的方向不能代表车辆直接。车辆在t处的取向（图2（b））是在t处的轨迹切线。为了获得取向，除了历史轨迹信息之外，还需要在几个后续步骤处的位置yj因此，在预测阶段获得准确的方位是不可能的我们还绘制了BJI中所有车辆轨迹序列（橙色虚线和轴）的εj，即两个连续步骤的方向之间的角度如图在图5中，小的ε表示小的转向角在两个连续的台阶之间的车辆直观地说，我们可以近似地使用它在t − 1时的已知方向来估计它在t时的方向。为了评估车辆的速度和取向之间的关系，我们定义以下的vj误差：E d= ||y j− y j||− ||P j− P j||.（十二）tt−1f m，tf m，t−1统计分析如前所述，行人的移动方向（被视为粒子）可以被模拟。它的速度。对于飞行器，我们在图2（b）中计算了BJI中所有轨迹序列的γ。然后，我们在图中以升序显示γ（以度为单位）。5（橙色实线和轴）。注意，仅在范围[0，5]中的γ是Pj=1（Pj+Pj）是前侧的中点，其也对应于aj。我们在图5（蓝色实线和轴）中绘制结果（表示为Egt）。从该图中可以看出，yj的位移与aj的平均位移之间的误差，由Pj表示，在两个连续的情况下。报告，这是满意的车辆运动学。这些连续的步骤是小而一致的。 然而，我们使用平均误差Ed（像素）/（度）财产脚本I情景二数据集名称BJITJI市北京天津纬度40.219049N39.120511N经度116.220789E117.173421E交通密度低高无人机高度（米）74121分辨率（像素）3840×21603840×2160视频总时长39’58”22’01”帧率（fps）3030带注释的帧编号234988000注释帧速率（fps）106注释行人人数步行1336690自行车电机16892690总30253380每帧2946每帧67105注释的车辆编号汽车25813523客车卡车82170铰接式客车9230总27553723每帧1934每帧336310390Dfmfm度量V-LSTM[二]《中国日报》S-LSTM[二]《中国日报》SGAN[9]第一章VP-LSTM （我们的）1VP-1公司简介OP-1P-20O-20OP-20Ade34.01 /40.0011.73 /15.164.80/7.054.56/6.527.72/10.465.74/7.953.90/5.672.19/2.99FDE43.87 /52.6420.03 /23.649.17/11.079.13/10.9913.02 /18.2110.27 /14.347.12/10.313.70/5.20ADEO33.89 /39.8712.68 /15.755.69/8.155.26/7.528.27/10.886.76/8.904.93/6.60三点二十九分/四点FDEO43.77 /52.5022.59 /24.9511.18 /13.3311.07 /13.1013.45 /18.4311.39 /15.338.19/11.194.88/6.22表2. NGSIM中车辆预测位置和方向的定量结果。指标ADE、FDE、ADEO和FDE OTpred=8和Tpred=12（8/12）以英尺为单位报告我们的方法始终优于最先进的方法（越低越好）。度量数据集剂V-LSTM[二]《中国日报》S-LSTM[二]《中国日报》SGAN[9]VP-LSTM（我们的）1VP-1公司简介OP-1P-20O-20OP-20AdeBJI车辆66.69 /85.4829.05 /51.4123.05 /29.7420.21 /24.6551.33 /79.4022.94 /34.5017.25 /27.1216.38/24.33行人34.70 /48.9125.26 /46.8919.73 /26.0617.82 /20.3323.25 /32.294.84/6.234.79/6.214.92/6.39平均44.13 /62.0926.88 /48.4921.52 /28.6618.64 /22.5332.21 /47.3310.61 /15.268.77/12.898.58/12.72AdeTJI车辆142.17 /185.9346.17 /85.5240.20 /59.3026.82 /39.8664.40 /96.9156.21 /89.5426.43 /47.6622.38/29.79行人115.44 /135.9741.19 /75.5521.81 /23.6719.81 /25.8937.19 /50.918.32/10.559.89/12.547.42/9.12平均125.27 /154.3143.13 /79.2231.30 /46.5724.42 /34.7348.67 /70.3424.79 /36.4816.86 /27.3713.43/17.32FDEBJI车辆114.11 /152.9161.49 /126.0339.41 /46.0238.36 /44.6894.91 /153.9642.87 /65.4734.16 /54.2031.27/43.60行人54.64 /81.72111.0532.90 /41.3732.57 /40.5238.82 /56.637.40/10.157月28日/10月9日7.55/10.44平均72.17 /107.38116.4737.88 /44.7535.00 /42.6256.71 /87.7118.71 /27.8115.86 /24.1815.11 /23.47FDETJI车辆215.94 /303.54103.67 /203.9050.62 /59.4648.22 /56.95114.79 /181.80109.64 /176.3756.59 /102.8835.38/49.31行人156.29 /192.9292.55 /177.1040.23 /50.9339.98 /49.3162.03 /88.9712.47 /16.5615.07 /19.9210.53/13.90平均178.21 /233.5296.91 /186.9746.55 /57.8943.42 /55.4384.29 /128.1745.89 /69.0432.59 /54.9520.51/27.95ADEOBJI车辆65.51 /83.7842.55 /65.7034.41 /41.5927.56 /33.4758.54 /83.6833.38 /42.9227.28 /34.9526.65/32.49TJI车辆140.52 /183.6050.35 /88.4450.75 /56.7929.69 /38.6568.11 /99.8360.31 /93.1732.87 /53.5126.15/33.69FDEOBJI车辆112.01 /149.81135.4946.28 /51.0143.61 /49.5998.74 /153.4053.19 /72.4243.26 /60.1340.61/48.02TJI车辆213.04 /299.39105.94 /203.2464.69 /79.5750.94 /64.49117.21 /182.70112.84 /178.5761.89 /107.0438.93/52.73表3.基于我们的数据集（BJI和TJI）的单独交通代理的预测位置和方向的定量结果以像素为单位报告Tpred=8和Tpred=12（8/12）的每个误差度量。顶部四行示出了异构交通代理的预测位置的误差ADE和FDE。底部行示出了表示为OBB的车辆的预测取向的误差ADE_0和FDE_0。我们的方法始终优于最先进的方法（越低越好）。aj的方向来近似aj，然后得到Eα变体（SGAN-PV和SGAN-PV-20）[9]。做个顾问-t−1t使用等式11、Eq. 12个。D在[9]中的评估协议的帐篷中，此外，我们还计算了Ey等式 11和观察期Tobs设置为8，我们分别预-当量12，其中，基于指示具有两个不同长度Tpred的轨迹（即，−t−−→速度（yj−yj）在t-1。如图58和12）。tt−1（红色实线/虚线和轴），尽管γ和ε是评估指标。受前人工作的启发[25]我们选择ADE（平均位移误差：平均小，从aj直接估计aj−−−−−→和yj−yj预测结果和之间的欧氏距离误差t−1tt−1如果我们把车辆当作刚性物体来处理，会引起更大的误差对象。因此，有必要同时预测车辆的方位和位置，以获得更精确的拥挤环境下车辆的运动轨迹空间我们还使用Pearson循环相关系数[12]来衡量||yt−yt−1||和||at−at−1||得到的相关系数为0。97.这表明，车辆移动速度越快，改变一个意志。上述统计分析在-整个序列的地面实况）和FDE（最终Dis-放置误差：最后一个位置的欧氏距离误差预测结果和地面实况之间的步长）作为评估度量，以评估关于车辆和行人两者的位置的预测结果。为了评估针对车辆的运动轨迹预测的方位，我们定义ADE0和FDE0来描述预测方位和地面实况之间的误差，如下所示：启发我们构建VP-LSTM来学习不同的轨迹MTob s+Tpred||Pˆj-PjΣΣf m，tf m，t||行人和车辆。 具体而言，方向ADEO=j=1t=Tobs+ 1MT预测值。（十三）和位置被联合学习用于车辆，以便获得。获得精确的运动轨迹。5. 实验与评价我们将VP-LSTM与最先进的人类轨迹预测方法和目前的定量和定性评价结果。5.1. 定量评价我们将VP-LSTM与最先进的人类轨迹预测方法进行了比较，包括Vanilla LSTM（V-LSTM）[2]，SocialLSTM（S-LSTM）[2]，两个Social-Gan [3]。FDEO是t=Tobs+Tpred的平均欧氏距离误差，对于Pj（j∈[1，M]），并且P是OBB定向的前端的预测中点。 因为所有的V-LSTM、S-LSTM、SGAN-PV和SGAN-PV-20分别车辆作为一个粒子，只预测它的位置，我们使用它在t−1的取向来近似它在t的取向，基于第2节的统计分析。4.第一章我们还使用不同的控制设置进行了消融研究，以评估网络每个部分的贡献。我们的方法被称为VPLSTM-OP-N。这里O表示场景中的车辆被视为不10391观察预测地面实况行人车辆观测预测地面实况飞行器VPLSTM-OP-20VPLSTM-OP-20SGAN-20VP-20SGAN-20VP-20图6.与地面实况和SGAN-20 VP-20相比，预测轨迹的三个示例。左栏和中右栏分别示出了由VPLSTM-OP-20和SGAN-20 VP-20预测的车辆和行人的位置轨迹。在中间左列和右列中示出的车辆的运动轨迹由OBB表示这里，T〇 bs=8并且Tpred=12。为了清楚地示出运动轨迹，我们对轨迹进行采样并在t=3、 6、 9、 12、 15、 18处示出车辆。多个实例在补充材料中提供。模型采用OBB，其方向和位置是联合预测的假设Lv和Lp分别表示测试阶段中车辆和行人的最优预测。我们从每个学习的d变量高斯分布中随机采样N次。注意，VPLSTM-P-N中没有预测取向的车辆被视为粒子，并且我们采用与行人相同的优化。只有车辆的场景。为了评估车辆的运动轨迹定义，我们在公开可用的数据集NGSIM [1]上测试了我们的模型，该数据集包括具有不同尺寸的异构车辆的轨迹。如表2所示，V-LSTM在位置预测和方向估计方面的每个指标上的误差最高，因为它无法捕获车辆之间的交互。所有S-LSTM、SGAN-1VP-1和SGAN-20 VP- 20都可以比V-LSTM更好地捕捉车辆之间的交互和表现。由于SGAN-20 VP-20中采用了多样性损失，这鼓励了网络产生多样性样本，SGAN-20 VP-20获得了比其他比较方法更好的性能（除了我们的）。然而，这些模型将每个车辆视为一个粒子，忽略了不同车辆的异构尺寸信息。由于车辆的运动学特征，VPLSTM-OP-20显著优于VPLSTM-P-20。简而言之，通过利用每个车辆的OBB，包括位置和取向的尺寸信息被隐式编码，这有助于预测车辆的更准确车辆行人混合场景。我们进一步评估了我们的模型对我们的车辆行人混合轨迹数据集。因为V-LSTM、S-LSTM和SGAN是为预测人类轨迹而构建的，这些方法中的每个智能体都不能区分车辆和行人之间的差异。我们采用了这些方法中的假设，其中每个代理，作为一个粒子，具有相同的运动模式。我们在表3中比较了使用ADE和FDE对车辆和行人的位置预测的准确性。由于V-LSTM可以基于其历史轨迹预测任何交通代理的轨迹，忽略相互作用，因此它在位置和方向的预测方面具有最高的误差。尽管S-LSTM和SGAN都捕捉到了异构流量代理之间的交互，并且比V-LSTM表现得更好，但这些模型将每个代理视为粒子，无法区分 各种互动之间的差异。在SGAN中，具有不同运动模式的行人和车辆共享相同的LSTM，这在位置预测上产生较高的ADE和FDE误差，特 别 是 对 于 行 人 。 此 外 ， 很 明 显 ， 由 SGAN 、VPLSTM-P-20和VPLSTM-O-20预测的行人的位置ADE和FDE误差很小，但由于假设车辆被视为粒子并与行人共享相同的LSTM，因此VPLSTM-OP-1获得高误差，因为预测轨迹可以是来自学习分布的多个可能轨迹中的任何一个。SGAN-20 VP-20、VPLSTM-O-20和VPLSTM-OP-20预测了BJI数据集中车辆的接近位置结果，因为其交通密度较低。通过使用OBB对车辆的大小和方位信息进行编码，并采用单独的LSTM来（二）（三）（一）10392观察到地面实况预测观测值地面实况预测车辆行人(1)（二）图7.我们的模型和地面实况之间的比较的两个示例（顶行）。对于每个流量代理，我们可视化其概率分布在一个时间步长的预测持续时间（底部）。代表交通代理，我们的VPLSTM-OP-20捕捉所有可能的情况，并从车辆和行人的各种样本中产生最佳轨迹。更多结果请参考补充材料。使用定义的度量ADEO和FDEO，还将车辆的预测方向与表3底部两行中的估计方向进行了比较VPLSTM-OP-20的预测结果显著优于基于最后取向估计的结果这表明，我们的模型可以预测更准确和稳定的运动轨迹的车辆，包括位置和方向。摘要我们定量实验的主要发现包括：1）在车辆-行人混合场景中，单独编码车辆和行人之间的行为和交互确实是必要的; 2）受运动学限制的车辆不同于行人，并且它们应该被视为刚体以预测更准确的运动学轨迹，这也有助于行人轨迹的预测; 3）预测车辆的取向确实是必要的，并且预测的取向比使用直接的几何方法的取向近似提高了性能。我们的VP-LSTM模型可以同时预测行人和车辆的轨迹。在拥挤的场景中，不仅可以更准确地预测车辆的位置，而且可以更准确地预测车辆的方向。5.2. 定性评价我们在图中展示了我们的数据集上的一些定性评估结果。6.如上所述，行人和车辆的运动都受到相邻交通代理的影响。我们报告的运动轨迹的车辆，表示与OBB，这是计算的基础上预测的位置和方向。如图6、VPLSTM-OP-20和SGAN-20 VP-20对行人而不是车辆（受限于运动学）。尽管在SGAN-20 VP-20中被视为粒子的车辆也可以预测更相对准确的轨迹（如中间右栏所示）。然而，用最后的定向估计的运动轨迹仍将导致更显著的误差。我们的模型可以学习车辆和行人参与各种交互的不同模式，包括跟随、合并和避免（见图6）。当车辆在与行人混合的组中行驶时，由我们的VP-LSTM模型预测的轨迹接近地面实况（参见图2中的示例（2）（3））（六）。我们在图中可视化了用我们的模型在一个时间步预测的车辆和行人的单独概率分布7.第一次会议。在这两个例子中，我们观察到，车辆捕获各种异质相互作用，以避免碰撞。在拥挤的空间里，行人也会找到自己的方式继续前进。因此，通过我们的模型学习的不同交通代理的不同分布使得预测适用于广泛存在的车辆-行人混合场景。6. 结论在这项工作中，为了解决拥挤的车辆和行人混合场景中同时预测车辆和行人的轨迹的问题，我们在不同的交通密度下构建了一个仔细注释的数据集，并进一步提出了一个VP-LSTM框架来联合预测车辆和行人的轨迹。车辆在拥挤空间中的轨迹仅限于运动学并且涉及行人。这些车辆被视为刚性的并且用更准确的表示（OBB）来定义，可以基于预测的位置和取向来计算。为了生成不同的交通代理的运动轨迹，我们采用不同的车辆和行人的优化我们还报告了与各种最先进的方法相比我们的工作的性能。进一步研究车辆运动学约束下有行人参与的更精确的轨迹预测，可以提高自动驾驶的效率和准确性。7. 确认这 项 工 作 得 到 了 中 国 国 家 重 点 研 究 发 展 计 划（2017YFC0804900，2017YFB1002600），国家自然科学基金（2017YFC0804900，2017YFB1002600）的部分支持。国家自然科学基金项目（61532002，61702482）、“十三 五 ” 共 性 技 术 预 研 项 目 （ 41402050301-170441402065）、东莞市科技动员计划（KZ 2017 -06）。Zhigang Deng的部分研究得到了美国NSF基金IIS-1524782的支持。10393引用[1] 下一代模拟实况表。https：//ops.fhwa.dot.gov/trafficanalysistools/ngsim.htm，2018.[2] Alexandre Alahi，Kratarth Goel，Vignesh Ramanathan，Alexandre Robicquet，Li Fei-Fei，and Silvio Savarese.社会责任：拥挤空间中的人体轨迹预测。在IEEE计算机视觉和模式识别会议（CVPR）上，2016年6月。[3] Alexandre Alahi，Vignesh Ramanathan，and Li Fei-Fei.具有社会意识的大规模人群预测。在IEEE计算机视觉和模式识别会议（CVPR）上，2014年6月。[4] Gianluca Antonini，Michel Bierlaire，and Mats Weber.行人步行行为的具体选择模型。运输研究B部分：方法学，40（8）：667[5] Federico Bartoli，Giuseppe Lisanti，Lamberto Ba