无人驾驶关键技术研究总结和分析 - 2016年在线获取 ScienceDirect CAAI Transactions on I...

可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1（2016）4e13http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/原创文章无人驾驶关键技术研究张新宇a，b，*，高洪波c，郭牧a，李国鹏d，刘玉超d，李德毅a，b，c，da清华大学计算机科学与技术系，北京100084b清华大学信息技术中心，北京100084c北京航空航天大学软件开发环境国家重点实验室，北京100191d电子系统工程研究所，北京1000392016年6月3日在线发布摘要虽然机器智能的发展还远没有模拟出人类大脑的全部认知能力，但完全有可能将驾驶活动从人的认知活动中剥离出来，让机器模拟人类大脑完成一些低级、复杂、持久的驾驶认知。驾驶的目的是取代司机，让他们从无聊的驾驶活动中解脱出来。本文在总结国内外无人驾驶研究现状的基础上，对无人驾驶研究的背景、意义、研究现状和关键技术进行了总结和分析，并介绍了课题组在驾驶的脑认知和智能车辆传感器布置等方面的研究成果，为推动无人驾驶研究提供了更有意义的参考Copyright © 2016 ， 重 庆 理 工 大 学 . Elsevier B. V. 制 作 和 托 管 这 是 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：无人驾驶;驾驶脑认知;传感器布置;脑认知形式化1. 介绍汽车的发展经历了三个不同的阶段，如图1所示。第一阶段完全依靠手工作业，没有标准化的零件和装配过程。这一阶段的汽车价格偏高，质量得不到有效控制。第二阶段的特点是标准化和精简化生产。90年代中后期以来，汽车工业进入第三阶段。汽车的舒适性和智能安全技术已成为汽车工业发展的重点。据统计，从1989年到2010年，电子设备的成本占总成本的比例从16%上升到23%。据称，这一比例可能在2015年上升至40%。在一些豪华轿车上，单片机的数量已达48台* 通讯作者。清华大学计算机科学与技术系，北京100084。联系电话：电话：010 - 62792959电子邮件地址：xyzhang@tsinghua.edu.cn（X. Zhang）。同行评议由重庆理工大学负责。电子设备的成本已占到汽车总成本的50%以上[2]。近年来，人工智能、认知科学、自动控制、地面测绘、传感器技术等领域的飞速发展，推动着汽车工业发生了本质性的变革。轮式移动机器人在汽车颠覆性创造中的象征已经准备就绪。轮式移动机器人更希望实现智能驾驶的目标，将人类驾驶员从低层次、复杂持久的驾驶活动中解放出来，从根本上改变汽车与驾驶员之间的交互方式，而不是强调车辆动力学特性的改变。因此，汽车将成为个人移动共享工具。轮式移动机器人的实现主要有两种途径：智能化途径和网络化途径。智能路线将汽车视为具有感知、认知和决策能力的智能个体，强调自主驾驶;网络路线将汽车视为整个交通系统的可调节节点，强调整体协调。两条路线相互交叉，共同构成未来的智能交通系统。http://dx.doi.org/10.1016/j.trit.2016.03.0032468-2322/Copyright © 2016，重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC- ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 135图1.一、百年汽车工业发展历程2013年，麦肯锡公司列出了能够决定未来经济的12项颠覆性技术，其中包括先进的机器人技术和无人驾驶技术[3]。无人驾驶汽车的研发依托人工智能、认知科学、自动控制、传感器技术等研究领域的最新研究成果，是检验的最佳舞台无人驾驶技术因其在民用、军用和科研领域的重大意义，已成为国内外政府、科研机构和企业关注的研究热点2. 无人驾驶美国国家公路交通安全管理局于2013年5月发布了智能驾驶汽车交通政策法规[4]。该法规将汽车的自动化程度分为五个级别（图2）：零级是无自主控制，一级是具有独立功能的智能驾驶，二级是具有协同控制的智能驾驶，三级是具有限制的自主驾驶，四级是完全自主驾驶。2.1. 美国无人驾驶汽车的研究现状美国是世界上第一个研究无人驾驶汽车的国家。20世纪80年代，DARPA设立专项基金支持自主陆地车辆的研究，并于2004年、2005年和2007年举办了三次DARPA挑战赛，掀起了大众对无人驾驶研究的[5]（见图）第3和第4段）。谷歌从2009年开始研究无人驾驶，目前已经完成了几种样车的设计和近100万公里的道路测试[6]。在谷歌的推动下，内华达州、佛罗里达州、加利福尼亚州和密歇根州相继允许无人驾驶汽车在公共高速公路上进行测试[7]。除此之外，通用、福特等美国汽车公司也将一些驾驶辅助系统装配到了无人驾驶技术衍生的自适应巡航控制、自动泊车、盲区报警等最新产品上。2.2. 欧洲无人驾驶汽车的研究现状欧洲在20世纪80年代中期开始研究无人驾驶汽车。它的研究强调无人驾驶汽车作为独立的个体，在交通流中正常行驶，而不是汽车和道路的合作。自1987年以来，欧洲实施了一项名为PRO-METHEUS（欧洲交通最高效率和前所未有的安全计划）的计划。1994年，名为VaMP和VITA-2的无人驾驶汽车加入了高速公路上的正常交通流，最高速度达到130 km/h[13]。自2006年以来，欧洲开始举行欧洲陆地机器人试验（ELROB），以测试包括无人驾驶汽车在内的陆地机器人在真实情况下的性能。它已经进行了三次军事场景和两次民用场景的测试。军事场景包括侦察监视、自主导航、车队运输等，民用场景包括安全、消防、灾害控制等，在后来的测试中，自动驾驶汽车及其任务完成度逐年提升[8]。ELROB在推动欧洲无人驾驶技术的研究方面发挥了积极作用[9]。2011年，柏林自由大学研究了名为“柏林精神”和“德国制造”的无人驾驶汽车。他们完成了在城市地区的无人驾驶测试以及其他项目，如拥挤的交通流量，交通信号灯和岛屿周围的旅行[10]。2014 年 ， 宝 马 、 奔 驰 和 奥 迪 推 出 了 Traffic JamAssistant，用于控制方向盘、加速器和刹车。6X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 13图二.智能驾驶的智能化图3. 三场DARPA挑战赛的冠军--沙尘暴、斯坦利、博斯。见图4。第一辆Google无人驾驶汽车使汽车在自动控制下以60 km/h的速度沿蒸汽行驶。同时解放了驾驶员的手脚，这是目前汽车上最先进的智能安全产品。2.3. 日本无人驾驶汽车的研究现状日本的无人驾驶技术研究起步较晚，更注重减少使用智能安全和通过车间通信辅助驾驶的事故日本在智能安全和车联网方面的研究处于世界领先地位，而在无人驾驶技术方面的研究较少。2.4. 我国无人驾驶汽车的研究现状中国的无人驾驶技术起步于20世纪80年代后期，得到了国家八六三工程和国防部的支持[11]。2003年，清华大学成功发明了THMR-V无人驾驶汽车，可在结构性道路上完成沿线行驶，车线清晰，最高时速超过100 km/h[12]。2008年，国家自然科学基金提出了视听信息认知计算的重大研究计划，掀起了无人驾驶研究的热潮[13e16]。自2009年以来，NNSF已经举办了六届智能汽车未来挑战赛。这场比赛包括基本能力测试和自动驾驶测试。基本能力测试包括测试机械性能和识别静态交通信号灯、交通标志和交通标记。自动驾驶测试要求汽车沿着给定的路线完成规定的运动，其中包括城市道路测试，乡村道路测试和独特的道路测试。X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 1372014年9月，解放军总装备部组织了2014年地面无人平台越障挑战赛，21支车队参加了比赛。本次比赛侧重于非结构化道路测试，包括路障、倒塌的墙壁、损坏的设备、弹坑、沟渠、水坑、动态障碍物等科目。本课题组还对小汽车混入实际交通流的问题进行了实验验证。2011年，国防科技大学红旗HQ 3无人车在长沙至武汉高速公路上完成了286公里的无人驾驶测试，平均时速87公里，人工干预2.24公里[17]。2012年，军交所狮3号完成了从北京太湖收费站到天津东丽收费站114公里的在没有人工干预的情况下，其总无人驾驶平均速度为79.06公里/小时，最高速度为105公里/小时[18]。与国外无人驾驶技术的先进发展相比，我国还存在一些不足。首先，这些汽车企业对无人驾驶技术缺乏热情和承诺。汽车企业与科研机构的合作主要停留在提供汽车平台、合作机械改造等方面，缺乏深度参与。二是针对实际交通流的无人驾驶测试仅限于普通高速公路，缺乏复杂情况下的无人驾驶实验验证。3. 无人驾驶3.1. 驾驶认知的形式化虽然机器智能的发展还远没有模拟出人类大脑的全部认知能力，但完全有可能将驾驶活动从人的认知活动中剥离出来，让机器模拟人类大脑完成一些低级、复杂、持久的驾驶认知。通过导航大脑完成驾驶认知的形式化，确保驾驶认知的准确性和完整性，人们就有希望借助机器不走神、不疲劳的特性，获得接近甚至超过人类的驾驶能力。在大脑对驾驶认知的形式化过程中，我们的大脑要承担起驾驶过程中的视听认知、注意、记忆、思维以及决策、互动等任务。驾驶协调技能被分配给自动化和车辆动力学，它们就像小脑一样，因此它们继承了汽车自动化和智能控制的结果。我们大脑的功能区域包括感觉记忆、工作记忆、长时记忆、计算中心和思维、动机、性格、情感等。 五、我们的感觉记忆负责瞬间储存感觉信息，这些信息很大，只能保存很短的时间。该功能对应于车辆传感器对周围环境的感知。来自传感器的图形和其他区域信号被存储在缓存区域中，然后新的数据将覆盖旧的数据，其机制类似于我们的感觉记忆的工作原理一些重要的经验、知识和场景都储存在我们的长期记忆中。该功能对应于驾驶地图和驾驶操作模型。驾驶地图精确记录了与驾驶相关的所有地理信息，包括车道宽度、交通标志、静态障碍物等，驾驶操作模型包括线路跟踪模型、跟车模型和换道模型，这是无人驾驶汽车的操作标准.驾驶地图和驾驶操作模型共同构成无人驾驶系统的先验知识。长时记忆中与当前活动相关的内容通过计算中心和思维提取出来，然后传递到我们的工作记忆中。该过程对应于无人驾驶汽车行驶地图的绘制模块。我们的工作记忆会暂时储存一些与当前活动有关的重要信息。有些信息来自于从我们的感官记忆中提取的实时信息，有些来自于从我们的长期记忆中提取的先验知识。将实时信息和先验知识有机地结合起来，为计算中心和思维提供一个信息池，进行分析和决策。同时，无人驾驶系统具有公共数据池，显示了驾驶认知的形式化表达。传感器信息处理模块提供的多种、异构、实时的驾驶信息与驾驶地图中的驾驶先验知识一起用驾驶状态形式化语言表达，全面展现了无人驾驶汽车以外的驾驶状态。除此之外，我们的大脑还有性格和情感等功能区域。人物展示了不同时间、不同地点的驾驶者的驾驶风格。无人驾驶时，驾驶方式由驾驶操作模块参数决定.情感是生物的独特属性。焦虑和恐惧会影响人们的驾驶行为，阻碍安全驾驶。驾驶大脑的实现不包括情感，不能保证驾驶行为的安全。不同的无人驾驶测试平台上传感器的种类、数量及其安装位置不同，其信息处理模块也各不相同。不同的驾驶地图所提供的信息的粒度没有规定的标准。因此，构成无人驾驶系统的模块的数量和端口是不同的。以驾驶大脑为核心，将驾驶认知形式化，并使用驾驶认知的形式化语言，设计出通用的无人驾驶软件框架。在8X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 13图五.大脑认知模型。X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 139在该框架下，智能决策模块没有完成与传感器信息的直接耦合。它是基于传感器信息和地图的先验知识形成的综合驾驶姿态来完成智能决策的。基于大脑认知的无人驾驶模型如图6所示。各传感器信息处理模块的输出由驾驶认知的形式化语言统一起来。然后构成驾驶姿态的实时信息。驾驶地图的信息根据车辆的位置和方向反映在驾驶姿势中。它与驾驶姿势的实时信息混合在一起，形成了一个可以反映当前驾驶姿势的公共数据池。智能决策模块以该公共数据池为基础，综合考虑交通规则、驾驶经验、先验路径等先验知识，完成智能决策。此外，公共数据池还具有以下功能：帮助传感器信息处理模块确定感兴趣区域，帮助定位模块提高定位精度，帮助驾驶地图模块及时更新先验信息，帮助提高这些模块的性能基于驾驶大脑的无人驾驶汽车软件框架实现了智能决策和传感器信息的融合。通过驾驶认知的形式化语言，可以减少对驾驶员驾驶行为的直接影响，如果我们增加或减少一个或几个传感器或者我们改变传感器的样式和安装位置，则在驾驶信息完整的情况下进行智能决策。只要对整个软件框架稍加改动或不作调整，就可以方便地在不同的测试平台上完成移植。3.2. 驾驶状态3.2.1. 驾驶状态认知图设计考虑到无人驾驶汽车上传感器数据在参考面上的不均匀分布以及感知传感器的感知模式和形状，提出了驾驶状态认知图的圆形变粒度网格图作为驾驶认知的形式化语言。驾驶状态认知图始终以测试平台为核心，根据需要覆盖一定半径的圆形区域。这些圆区域被同心圆列表和具有不同角度的半径列表划分为网格。这些同心圆的半径长度从内侧到外侧按指数定律增加。驾驶状态认知地图的分辨率可以是一个稳定的数字，也可以根据驾驶的关注区域而改变。越靠近地核，地图上的网格尺寸就越小，精度也就越高。图第六章基于大脑认知的无人驾驶模型10X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 13高否则，它的尺寸会更大，精度会更低。驾驶状态认知地图以对数极坐标系为参考系。与极坐标系类似，原木极坐标系也是由极角和原木直径组成的平面参考系。对数极坐标系以车辆几何中心在地面上的投影为原点，以车辆正前方为极轴。极角的定义与极坐标系中极角的定义相同。极角是指极轴与从区域点到目标点的径向之间的相交角。角度的数据范围是从零到360度，如图所示。第七章由于无人驾驶汽车的动力学特性，无法完成左右平移的动作。至于在结构化车道上驾驶，可以关注车辆两侧约5条车道的长度。因此，上述驾驶状态的认知地图更适合于无人驾驶飞机和其他具有高自由度和左右平移的驾驶平台。而对于无人驾驶汽车，可以根据汽车的动态特性和结构化车道的需要，对驾驶状态认知图的两边进行裁剪。如果我们从左右两侧的焦点区域裁剪出20米的宽度，我们可以得到一个极坐标系中驾驶状态的认知地图，如图 所示。 八、3.2.2. 环境要素无人驾驶的任务要求汽车必须完全适应与驾驶有关的所有环境因素。这些环境要素包括地面标记，如车道标记、交叉口停车线和人行横道上的斑马线、移动障碍物见图7。极坐标系下驾驶状态的全角度认知图。见图8。驾驶状态的认知地图的宽度为20米的极坐标系。例如行人和其它车辆;不可移动的障碍物，例如道路边缘、隔离带、旋转岛和减速带;以及其它交通要素，例如交通灯、交通标志和交通指示器。我们可以用结构体来描述这些元素。环境要素的类型、属性和表示方法见表1。3.2.3. 驾驶状态认知图中的环境要素根据驾驶状态认知图的网格存储信息的不同，可以从结构体中提取一些单一的信息，将图分解为一些单一信息或较少信息的图。我们称之为认知的分裂X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 1311表1环境要素的类型、属性和取值范围环境要素属性值范围表示方法障碍物障碍物的类型车辆、行人、减速条带、池障碍物的高度实数字段：R.有效感应范围：-0.5 me 5 m障碍物的速度正实数字段：R有效速度：0e 150 km/h障碍物的速度方向行驶方向为零弧度。左边是负的，右边是正的。方向角的范围从零到8位字节变量在离散化后以8位字节变量表示在离散化后以8位字节变量表示在离散化障碍物的阻碍程度它的范围从零到一。在离散化后以8位字节变量表示驾驶认知CT图是一种具有单一或较少信息的驾驶状态认知图，其中有几种可以部分或全部表达驾驶认知CT图的分割方法不是唯一的，分割后的驾驶认知CT图不必包含驾驶状态认知图中的所有信息。驾驶认知CT图只需要分解出便于直观显示在驾驶状态认知图上并有助于交互调试的信息。表2列出了驾驶认知CT图的最佳示例我们还可以设计独立的CT图形来溢出和显示交通信号灯的类型和高度，交通标志的类型，高度和样本等信息而这些信息的主要作用是帮助传感器的信息处理模块快速确定感兴趣区域，提高测试速度和精度。与智能决策和路径规划相关的信息可以离散显示，因为其影响与网格的位置没有很强的关系。因此不需要单独的CT图像显示将驾驶状态的认知图映射到CT图中，既有逻辑性，又有直观性。但这并不意味着仅依靠一张CT图就能完成智能决策。一个准确的智能决策需要综合考虑所有的交通要素，只有在分析驾驶状态认知图上所有信息的基础上才能完成。图9显示了驾驶认知CT图，仅有地面标记的信息，它只是从无人驾驶车辆四周10 m范围内驾驶状态认知图。在此之后，各种地面标记的显示器显示出明显的标志。但实际使用中角度的分辨率不会造成如此明显的锯齿形. 然而，它们仍然存在。无论是圆形变粒度网格图还是方形粒度网格图，在离散表示大部分地面标记时，都必须存在标记圆形变粒度认知地图的粒度很细，由于它靠近车辆，所以标记不明显。相反，越靠近车辆，颗粒越粗，标记越明显。但这并不影响决策。在图1的可视情况下， 9、我们用灰度值250代表路口停车线，灰度值200代表行人线，灰度值150代表黄色实车道标线，灰度值100代表白色实车道标线，灰度值50为白色虚拟车道标记。不同的灰度值映射方法可以根据可视化的需要灵活调整，也可以映射成彩色值。图中包含5条平行的白色实车道线，车辆行进方向与车道线方向保持平行。在车辆前方约6m处有一条交叉口停车线，在停车线附近有一些行人线，由于行人线与车辆有一定的距离，且角度分辨率太低，行人线连成一条。这就是为什么我们不能区分每一条平行线。但这一变化不会造成歧义或影响无人驾驶的决策开车表2一个最好的例子驾驶认知CT图。Number环境要素属性显示方案CT图1障碍类型灰色或彩色值表示障碍物的类型CT图2障碍高度、阻塞程度灰色或彩色值是指高度和障碍物的阻碍CT图3障碍速度和方向灰色或彩色值是指障碍物的速度映射方向箭头表示障碍物的方向CT图4道路边缘高度、阻塞程度灰色或彩色值是指道路边缘的高度透明度是指阻塞程度。CT图5地面标记类型、梗阻程度灰色或彩色值是指地面标记的类型透明度是指阻塞程度。CT图6事先规划轨道占没占黑色和白色值是指是否被占用þ12X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 13图第九章具有地面标记信息的驾驶状态认知图4. 讨论和结束我们常年致力于无人驾驶的研究和试验，在京津高速公路上完成了20次无人驾驶试验，总里程达2万公里。在国内城际高速公路上成功实现无人驾驶尚属首次，同时也接受了权威机构的第三方测试。我们是第三、四、五届中国智能汽车未来挑战赛的最佳候选人。2015年8月，我们在河南省郑州市郑开高速城际公路上完成了客车无人驾驶测试，测试长度为32公里。客车在没有人工干预的情况下顺利到达终点，并接受了第三方权威机构的检验。无人驾驶汽车的研究和试验是基于人工智能、认知科学、自动控制、地面控制测绘、传感器技术等领域。随着高精度地面测绘和传感器技术的迅速发展，无人驾驶车辆能够从周围环境中获取大量的数据。如何有效地处理大量的、多样的、异构的实时数据，并快速、准确地做出驾驶决策，是无人驾驶汽车研究和实验的主要难点。智能汽车作为我们这个时代的宠儿，将提高我们的生活质量。我们期待着创造赛车机器人的极致。确认本 课 题 得 到 了 国 家 自 然 科 学 基 金 项 目 61300006 、61305055、61305055、61305056、61305056、61305055、61305055、61305055、613050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050505050561035004号61273213号61203366和国家高新技术项目（863），批准号：2015 AA 015401;中国工程院咨询项目（863），批准号：2015 AA 015401。2015 XY 42X. Zhang等人/CAAI Transactions on Intelligence Technology 1（2016）4e 1313引用[1] E. Eckermann，世界汽车史，培训，2014年，02E 19。[2] W.B.Ribbens ， UnderstandingAutomotiveElectronics ： anEngineeringPerspective，Pergamon Press，2013.[3] M.楚尔河Dobbs，P. Bisson等人，《颠覆性技术：将改变生活、商业和全球经济的进步》，麦肯锡全球研究所，2013年。 1e 30。[4] J.W.龙格，国家公路交通安全管理局。后端碰撞：问题尺寸评估和统计描述（技术报告DOT HS 807 994）28（1）（2010）429e432。[5] M. Buehler ， K. Iagnemma ， S. Singh ， The DARPA UrbanChallenge ： AutonomousVehiclesinCityTraffic ， SpringerScience&BusinessMedia，2009，pp. 23E 145.[6] 自 动 驾 驶 汽 车 [DB/OL] 。 http://googleblog.blogspot.jp/2014/04/the-latest-chapter-for-self-driving-car.html.[7] J. Markoff，Google Lobbies Nevada to Allow Self-driving Cars，TheNewYork Times，2011，p. 10.[8] T. Braun，H. Schaefer，K. Berns，Topological large-scale off-roadnavigationand exploration RAVON at the European Land Robot Trial2008 ， in ： Intelligent Robots and Systems ， 2009. IROS 2009 。IEEE/RSJ国际会议。IEEE，2009年，第 4387和4392。[9] M. Himmels bach，T. Luettel，F. Hecke r等人， KIKünstlicheIntell. 25（2）（2011）145e 149.[10] A. Reuschenbach ， M. Wang ， T. Ganjineh 等 人 ， iDriver-humanmachineinterface for autonomous cars，in：Information Technology：NewGenerations （ ITNG ） ， 2011 Eighth International Conference on.IEEE，2011年，第435和440。[11] 杨明，哈尔滨工业大学学报，38（8）（2006）1259e1262。[12] 张鹏飞，何克忠，欧阳正柱，张俊宇，机器人24（2）（2002）97e101.[13] S. Tsugawa，The current trends and issues on ITS in Japan：safety，energyand environment ， in ： Intelligent Radio for Future PersonalTerminals （ IMWS-IRFPT ） ， 2011 IEEE MTT-S InternationalMicrowave WorkshopSeries on. IEEE，2011，pp. 1e 2。[14] R. Behringer，N.穆勒机器人自动IEEE Trans.14（5）（1998）810e815.[15] A. Broggi，P. Cerri，S. Debattisti等人，PROUD-公共道路城市无人驾驶测试：架构和结果，载于：智能车辆Symposium Proceedings，2014 IEEE，IEEE，2014，pp. 648和654。[16] 谭敏，王硕，ACTA Autom. Sin. 39（7）（2013）963e 972。[17] 联合Ozguner，K.A. Redmill，A. Broggi，Team TerraMax and theDARPAgrand challenge：a general overview，in：Intelligent VehiclesSymposium，2004 IEEE，IEEE，2004，pp. 232和237。