⃝⃝可在www.sciencedirect.com在线ScienceDirectICT Express 3（2017）178www.elsevier.com/locate/icte用于规避机动辅助系统的网络化高速视觉日本东京大学信息物理与计算系，东京，日本b日本名古屋南山大学机电一体化系c日本东京大学工业科学研究所接收日期：2017年8月21日;接受日期：2017年11月15日2017年12月12日在线发布摘要我们提出了一个框架规避机动辅助使用一个阵列的高速摄像机能够相互沟通，通过一个叫做网络化高速视觉的网络。该系统具有宽视野和高响应性，使车辆能够在其周围出现潜在危险时立即接收有关信息，从而使其能够尽快进行规避机动。我们证明了该系统的有效性，在一个典型的情况下，规避机动进行。与机器人汽车平台和模拟实验表明，该系统优于系统组成的视频速率相机。c2017 韩 国 通 信 信 息 科 学 研 究 所 。 出 版 社 ： Elsevier B.V. 这 是 一 篇 基 于 CC BY-NC-ND 许 可 证 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：规避机动辅助;结构-车辆通信;网络化高速视觉1. 介绍现代智能交通系统（ITS）中的驾驶安全支持系统（DSSS）已得到广泛的发展，以预防事故和减少人员伤亡。然而，事故调查系统尚未成熟到足以涵盖所有涉及车辆和行人的事故。最具挑战性的情况之一这是因为人类在感觉到危险后需要更长的时间来执行规避动作因此，研究人员已经研究了在需要即时反应的确切时刻辅助驾驶员执行 规 避 机 动 的 方 法 ; 这 种 技 术 被 称 为 规 避 机 动 辅 助（EMA）[1]。*通讯作者。电子邮件地址：Masahiro Hirano@ipc.i.u-tokyo.ac.jp（M.Hirano）。同行审议由韩国通信研究所负责信息科学系.本文的初步版本已在第11届控制、自动化和机器人信息学国际会议（ICINCO2014）上发表。本论文是《智能交通通信系统专刊》的一部分顾宗华吴，丹达·拉瓦特教授，金东均教授。https://doi.org/10.1016/j.icte.2017.11.008EMA的一些最新进展建议使用车载摄像机[2];然而，这些摄像机的视场（FOV）有限，无法在车载摄像机的死点观察行人或摩托车。为了克服死点问题，研究人员利用车对车通信来通知其他人他们通过GPS等传感器获得的位置[3]。虽然这种方法是有前途的，但仍然存在各种问题。这种类型的系统要求几乎所有车辆都配备警报和通知单元。此外，GPS用于车辆导航的精度还有提高的空间，目前在米量级[3]。这促使我们构建一个能够进行EMA的基础设施到车辆（I2V）通信系统，如[4，5]中所提出的。用于安全支持的典型I2V系统使用视频速率视觉传感器来识别道路上的情况。然而，这些传感器由于其低响应性而继续存在问题我们建议采用基于I2V的EMA的网络高速视觉。网络化高速视觉[6]是一个由高速摄像机组成的系统，它们被排列成覆盖所有感兴趣的区域。这些摄像机通过网络连接，使它们能够相互通信该系统可以鲁棒地跟踪在整个感兴趣空间中移动的对象，并识别每帧中的事件。下一节将详细介绍该系统的功能。所提出的系统的应用包括各种ITS任务，如2405-9595/c2017韩国通信信息科学研究所。Elsevier B. V.的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。M. Hirano等/ ICT Express 3（2017）178179Fig. 1. 拟议系统概述。运动规划和队列车辆。在这些任务中，我们选择了EMA进行本研究。在这方面，值得注意的是，随着“高速视觉芯片”的出现，高速视觉传感器变得越来越普遍，该芯片具有1000Hz的帧速率，具有针对高帧速率图像处理而优化的视觉芯片的普及预计将大大降低目前价格范围内引入高速视觉的成本。在这项研究中，使用机器人汽车平台和车辆动力学模拟器进行实验，以验证所提出的系统的效率，需要EMA进行的情况下。2. 网络化高速视觉网络高速视觉系统[6]由通过网络连接的高速摄像机组成，使它们能够相互通信。这些摄像机的FOV与相邻摄像机的FOV重叠，以便观察整个感兴趣空间，如图1所示。每个摄像机与其处理单元形成一个节点。所有节点都使用软件定义的精确时间协议同步到亚毫秒级。该系统的一个显著特点是观测范围广。单一视频速率摄像机在大的工作区域或当目标快速进入和离开其FOV时具有有限的目标跟踪能力。高速公路上的交通状况就是这种情况的典型例子与单摄像机跟踪相比，系统中的高速摄像机在时间上精确同步，并提供更宽的FOV。即使在极端条件下也能成功跟踪目标，当目标在每个摄像机的FOV上快速移动或遇到严重遮挡时。另一个关键特征是系统的高响应性由于高采集率，该系统在跟踪目标周围发生事件后立即识别与视频速率相比，延迟可以高达32 ms;这在EMA中至关重要，因为即使是轻微的延迟也会产生不利影响，正如本研究所证明的那样。以高采集速率实现对象跟踪需要使用简单的计算机视觉来减少计算负荷[8]。因此，我们使用背景减除，因为场景的最大部分可以被视为静态对象。由于在高速摄像机采集的短时间间隔内发生轻微移动，因此可以从前一帧中识别摄像机平面中每个目标的位置[8]。在定位目标后，我们可以利用预先获得的摄像机参数来计算目标的位置.因此，所有计算都可以在1 ms内执行，原则上实现1000fps的跟踪。因此，包括目标的位置和捕获帧的时间戳的数据在网络内的每帧中传输。3. 网络化高速视觉辅助机动基于I2V的EMA作为DSSS有几个好处。它利用能够监视交通状况的基础设施，例如涉及道路上的车辆，行人和障碍物的交通状况。它在拐角处传达了关于被其他车辆或建筑物隐藏的场景的额外信息。在这些交通信息中，我们专注于相对于车辆位置的障碍物位置，我们称之为“障碍物地图”。联网的高速视觉提供了更多的好处。高速视觉准确同步，并在FOV中稳健地跟踪车辆，以便在每次高帧率采集时为车辆提供交通信息。然后，车辆可以根据所提供的信息决定是否执行规避机动然而，由于无线数据传输，引入I2V通信不可避免地增加了延迟，这在EMA中是有问题的。想象一下这样一种情况，一辆车突然变道，从另一辆车的阴影中切入你的车，如图所示。1.一、这将需要执行规避机动，并且最小化事件识别中的延迟以安全地执行规避机动。我们研究了事件识别的延迟对规避策略执行延迟的影响程度（图2）。根据初步实验的结果，我们假设I2V通信需要15 ms，如下一节所述。当在基础设施中安装视频速率（30 fps）摄像机时，车辆识别障碍物和检索信息之间的延迟可以高达48 ms，因为在最坏情况下物体识别具有33 ms的相比之下，高速摄像机（1000 fps）每1 ms采集一帧;因此，最大延迟可能为1 ms。因此，车辆可以在障碍物出现后最多16 ms内识别出障碍物总而言之，尽管不可避免的I2V通信延迟，但网络高速视觉具有广泛的监视范围和高响应性。特别是，它有助于改善在规避机动中的安全性。4. 评价4.1. 规避机动方案我们通过使用特定场景进行实验来评估所提出的系统。我们设计的场景180M. Hirano等/ ICT Express 3（2017）178−图二. 从障碍物出现的那一刻起直到车辆使用（a）联网视频速率视觉和（b）联网高速视觉识别障碍物的时间图。演示网络高速视觉如何与EMA一起工作的两个要求。第一个是跨帧跟踪能力，第二个是从道路上发生事件到车辆接收信息的低延迟我们设计了一条穿越视野的旅行路径多个摄像头，如图1所示。联网的高速视觉系统为每辆车生成障碍物地图，整个系统通过网络共享该地图。地图包括障碍物相对于车辆坐标系的坐标。障碍物地图在每一帧被传输到车辆。一旦车辆接收到障碍物地图，它就会评估其构成的危险，并根据一组预先编程的规则决定是否执行规避机动。在这项研究中，我们采用了一个简单的规则：如果车辆在小于预定义的距离阈值内接近障碍物，则它在一定程度上开始转向一段时间。然后车辆直行一段时间，并转向相反的方向，以恢复其原始方向。为了证明障碍物识别的延迟对规避机动的影响程度，我们进行了相同的实验，并用视频速率摄像机代替高速摄像机在实验中，我们假设一种情况其中一个人突然从路边跳到车辆前面进入高速公路。我们将人建模为静态对象，并根据相机的帧速率通过算法调制检测定时使用由高速摄像机和Robocar（机器人汽车平台）组成的实验系统进行实验，以证明这种情况下低延迟的不利影响。此外，还利用实验系统验证了系统的跟踪能力。最后，我们使用车辆动力学模拟器模拟了4.2. 使用机器人汽车平台的我们构建了一个实验系统，使用1/10比例的机器人汽车平台（称为“Robocar 1/10”）[ 9 ]进行规避它有一个实时操作 系 统 来 控 制 其 转 向 和 通 信 模 块 （ Wi-Fi ， IEEE802.11g）。联网高速视觉由两个具有宽FOV的高速摄像机（EoSens MC1362，Mikrotron）组成。高速摄像机的帧速率根据其性能设置为600 fps。每个摄像机都连接到一个工作站进行图像处理。我们启用了两个工作站中的一个与Robocar通信以传输障碍物地图。障碍地图设计为包含多达50个障碍。每个障碍物占用8个字节（经度和纬度坐标为32位整数我们设置一个数据包的大小到512字节，包括报头和有效载荷。初步测量的单向通信时间的往返从2.5毫秒到15毫秒，这与我们在第3节中的假设。在实验中，我们在一个固定的点放置一个障碍物，并画一条线，指示阈值距离为800 mm。一旦到达线，车辆进行规避机动。规避机动开始时转向30度，时间为T1，直行T2，最后转向30度，时间为T1，恢复原来的方向。联网的高速视觉在车辆的整个路径中，包括区域内，视野重叠的区域联网的高速视觉检测到车辆越过线路的瞬间。然而，由30 fps摄像机组成的系统无法检测到这一时刻，直到车辆超出线55 mm。在实际比例下，该系统中的55 mm相当于0.55 m。如图3所示，该延迟导致车辆越过障碍物。实验的视频可以在我们的网站上找到[10]。车 辆 在 越 过 阈 值 线 时 的 速 度 为 7.2 km/h （ 1.8mm/ms），这意味着检测的延迟为30.5 ms。4.3. 模拟我们使用CarSim [11]（一种用于研究目的的车辆动力学模拟器）模拟了与实际规模的Robocar实验相同的情况。我们在同一条车道上放置了一个障碍物和一辆车车辆移动M. Hirano等/ ICT Express 3（2017）178181见图4。车辆质心轨迹。红线和蓝线分别对应于600 fps和30 fps。(For对本图图例中所指颜色的解释，读者可参考本文的网络(a) 每秒30帧。（b）每秒600帧。图三. 使用不同帧速率的网络视觉系统进行碰撞避免的实验结果：（a）30 fps;（b）600 fps。在（a）中，车辆避开障碍物，而在（b）中，发生碰撞。直到距离小于预定义的阈值，并执行规避机动。因为所有的配置都是在实际的规模， 车速设定为72公里/小时。在600- fps系统的模拟中，车辆在到达障碍物之前8 m开始执行规避操纵，而在30-fps系统中，操纵在超过预定义阈值0.55 m之后开始图4示出了模拟的结果。由于联网高速视觉具有0.55 m的优势来启动规避机动，因此30 fps系统中车辆质心的轨迹在中心线处（距离原始驾驶车道2 m）比600 fps系统中的车辆质心的轨迹提前约0.51 m。与Robocar的实验类似，30-fps系统不能防止车辆与障碍物相撞，而600-fps系统可以。这些结果清楚地表明，尽快发现危险以安全地执行规避机动是至关重要的5. 结论在本文中，我们提出了一个框架，EMA与网络化高速视觉系统的帮助。由于所提出的系统具有宽FOV和高响应性，一旦系统检测到车辆周围的潜在危险它立即传送潜在危险的位置，并使车辆能够执行规避操作。在这项研究中，我们从广泛的应用中选择了EMA 所提出的系统有助于，并验证了所提出的框架，通过执行实验与机器人汽车平台和模拟。未来工作的方向将包括通过引入最近开发的低延迟实时无线通信技术（如RT-WiFi [12]）来减少通信延迟，并基于所提出的系统开发其他应用程序。致谢这 项 工 作 得 到 了 战 略 信 息 和 通 信 研 发 促 进 计 划（SCOPE）121803013的支持。利益冲突我们希望提请编辑注意以下可能被视为潜在利益冲突的这项工作完全由SCOPE（日本总务省战略信息和通信研发促进计划）支持也没有其他利益冲突需要声明引用[1] C.G. Keller等人， 主动行人安全的自动制动和规避转向，IEEETrans. Intell。运输单12（4）（2011）1292-1304。[2] S. Cherng等人，基于视觉的驾驶员辅助系统中附近运动车辆的临界运动检测，IEEE Trans. Intell.运输单系统10（1）（2009）70-82。[3] P. Papadimitratos等人，车辆通信系统：使能技术，应用和智能交通的未来展望，IEEE Commun。47（11）（2009）84-95。182M. Hirano等/ ICT Express 3（2017）178[4] F. Basma等人，使用基础设施通信的交叉口防撞系统，在：Proc.Int.Conf. 内特尔运输单系统Washington，DC，2011，pp. 422-427[5] J. Kim，J. Kim，使用无线传感器网络的交叉口碰撞避免，在：Proc.Int. Conf. 汽车电子和安全，浦那，印度，2009年，pp。68比73[6] A. Noda等人，用于车辆跟踪的网络化高速视觉系统，在：Proc.Sensors Applications Symp. Queenstown，New Zealand，2014，pp.343-348[7] T. Yamazaki等人，一个1ms的高速视觉芯片，具有3D堆叠的140GOPS列并行Pes，用于时空图像处理，在：Proc. Int.固态电路会议。旧金山，加利福尼亚州，2017年，第82比84[8] I.石井Ishikawa，高速视觉的自窗口，在：Proc. Int. Conf. Roboticsand Automation，Detroit，MI，1999，pp. 1916-1921年。[9] ZMP。1/10比例Robocar [Internet].可用：http：//www. zmp. co。jp/wp/products/robocar-110？lang=en.[10] 在线视频。[互联网]。可用：http：//www. k2。t. u-tokyo。梭jp/fusion/VehicleAvoidance/movie。mp4.[11] 机械模拟。CarSim [互联网]。可用：https：//www. carsim. com/.[12] Y.-- H. Wei等人，RT-WiFi：无线网络物理控制应用的实时高速通信协议，在：Proc.实时系统信号，Vancouver，BC，2013，pp. 140-149
我的内容管理
展开
