使用机器学习方法预测和可视化交通拥挤

使用机器学习方法预测和可视化公共弗洛里安·托克引用此版本：弗洛里安·托克。使用机器学习方法预测和可视化公共交通中的交通拥挤。性能和可靠性[cs.PF]。东巴黎大学，2019年。法语。NNT：2019PESC2029。电话号码：02496955HAL ID：电话：02496955https://theses.hal.science/tel-02496955提交日期：2020年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire巴黎东部大学MSTIC博士学校联合指导博士专业：计算机科学应用机器学习使用机器学习方法预测和可视化公共弗洛里安·托克报告员Mounim EL YACOUBI，南巴黎电信公司教授StéphaneBONNEVAY，Claude Bernard Lyon 1Boris MERICSKAY，雷恩第二大学讲师Cristina PRONELLO，索邦大学-UTC教授IFSTTAR研究员Etienne COME主管Latifa OUKHELLOU主任，IFSTTAR研究主任联合主任Martin Trépanier，蒙特利尔理工学院教授2019年12月2日弗洛里安·托克使用机器学习方法预测和可视化联合指导博士，计算机科学，应用机器学习报告员：Mounim EL YACOUBI和Stéphane BONNEVAY考官：Boris MERICSKAY和Cristina PRONELLO主管：Etienne COME导演：拉蒂法·欧赫卢和马丁·特雷帕尼耶巴黎东部大学博士学校：MSTIC研究机构：IFSTTAR部门/实验室：COSYS/GRETTIA14-20 Boulevard Newton，77420 Champs-sur-Marne答辩日期：2019年iii谢谢你本论文在如果没有一些人的支持和合作，这篇论文就不可能成功。因此，我要感谢所有以任何方式为我的工作进展作出贡献的人我很幸运地得到了三个杰出的人的监督和指导，他们都有很大的智慧、善良和仁慈，多亏了他们，我才能在最好的条件下发展和完成这篇论文。因此，我想对我的论文导师Latifa Oukhellou和我的导师Etienne Côme深表感谢，感谢他们从我来到IFSTTAR实习到完成博士学位期间给予我的宝贵帮助和许多建议。同时，我要感谢我的论文导师Martin Trépanier接受我，以换取在蒙特利尔的一年，这使我能够从专业和个人的角度享受我一生中最有意义的一我非常感谢Cristina Pronello教授，她我还要衷心感谢Mounim El Yacoubi教授和Stéphane Bonnevay教授同意报告我的工作。我还要感谢Boris Mericskay教授，他同意我要感谢我要感谢我在皮埃尔和玛丽·居里大学的教授们让 我要特别感谢硕士DAC的负责人Ludovic Denoyer和Bernd Amann，感谢他们的教导，让我想继续从事数据科学和机器学习领域的工作。我还要感谢Vincent Guigue的高质量教学和他清晰解释概念的巨大能力，这使我能够强烈欣赏计算机科学iv我想向我在GRETTIA的同事和朋友们表示感谢，在整个论文过程中，我有幸与他们 擦 肩 而 过 ： Anne-Sarah 、 Moncef 、 Milad 、 Khalil 、 Negin 、 Mostafa 、Florence.....远离家人和朋友有时会很困难，所以我要感谢我在蒙特利尔交流时有幸遇到的还有最后，我感谢家人和朋友的坚定支持 我希望我的父母玛丽亚和约翰，以及我的祖母德尔菲娜和吉乃特，能够在这篇论文的实现中找到他们的教育、奉献和牺牲的果实。 我还要热烈感谢我的弟弟Yann和Nicolas，感谢他们对我的支持，感谢他们给了我以身作则的愿望。v摘要作为应对全球变暖的一部分，世界上一些国家，特别是加拿大和包括法国在内的一些欧洲国家，已经制定了减少环境污染的措施。各国讨论的主要领域之一涉及运输部门，更具体地说，涉及公共运输系统的发展，以减少私人汽车的使用和温室气体的排放为此，有关当局的目标是建立更方便、更清洁和更可持续的城市交通系统。在此背景下，本论文由东巴黎大学、法国交通、规划和网络科学技术研究所（IFSTTAR）和加拿大蒙特利尔理工学院共同指导，通过使用机器学习方法对公共交通中的乘客流量进行预测和可视化研究，重点分析城市流动性。最终的动机是改善向用户提供的运输服务，例如更好地规划运输服务和改善乘客信息（例如，事件/事故情况下的建议路线 本文是在数字痕迹的价值评估和数据科学领域的发展的一般背景下进行的（例如，数据的收集和存储、机器学习方法的开发等）。特别是，我们比较了不同的预测模型，如基本模型、统计模型、机器学习模型（支持向量回归、随机森林、梯度增强等）。深度学习（长短期记忆和门控递归单元）。这项工作有三个主要部分，即：（i）使用事件和票务数据进行长期客流量预测（iii）显示公共交通工具上的乘客这项研究主要基于使用交通运营商提供的车票数据，并在三个真实的案例研究中进行：雷恩市的地铁和公共汽车网络、法国巴黎拉德芳斯商业区的铁路和电车网络以及加拿大魁北克省蒙特利尔的地铁网络。关键词：机器学习，深度学习，公共交通，票务数据，预测，可视化vi摘要（英文摘要）作为应对全球变暖的一部分，世界上许多国家，包括加拿大和一些欧洲国家，包括法国，都制定了减少温室气体排放的措施。各州解决的主要领域之一涉及交通部门，更具体地说，涉及发展公共交通以减少私人汽车的使用。为此，地方当局致力于建立更方便、清洁和可持续的城市交通系统。 在此背景下，本文由东巴黎大学、法国交通、发展和网络科学技术研究所（IFSTTAR）和加拿大蒙特利尔理工学院共同指导，通过使用机器学习方法对公共交通拥堵进行预测和可视化的研究，重点分析城市交通。主要动机涉及改善向乘客提供的运输服务，例如：更好地规划运输供应，改善乘客信息（例如，事件/事故情况下的建议行程、特定时间列车上人群的信息等）。为了提高交通运营商对城市地区用户出行的认识，我们正在利用数据科学的发展数据收集、机器学习方法的开发特别是，我们比较了不同的预测模型，如基本模型、统计模型、机器学习模型（支持向量回归、随机森林、梯度提升等）。 深度学习模型（递归神经网络，即长短期记忆和门控递归单元）。本文主要分为三个部分：（i）利用事件数据库对乘客需求（ii）乘客需求的短期预测和（iii）公共交通乘客需求的该研究主要基于交通运营商提供的票务数据的使用，并在三个真实案例研究中进行，即雷恩市的地铁和公共汽车网络、法国巴黎拉德芳斯商业区的铁路和电车网络以及加拿大魁北克省蒙特利尔的地铁网络。论文题目：用机器学习方法预测关键词：机器学习，深度学习，公共交通，智能卡数据，预测，可视化vii目录谢谢你iii.摘要V1引言11.1背景和动机. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ... ... ... ...11.1.1社会、经济和环境21.1.2用于分析城市流动性的不同类型数据1.1.3运输运营商之间的数据可用性和社区101.2研究问题和贡献121.2.1目标121.2.2处理移动性在公共交通131.2.3预测1.2.4用于富裕分析的可视化工具1.2.5出版物152城市流动性预测：近期研究和方法172.1导言172.2长期预测182.3短期预测202.4方法232.4.1基本方法232.4.2统计方法242.4.3核方法262.4.4基于决策树的方法2.4.5来自深度学习的方法2.5使用算法预测时间序列的过程。viii来自2.5.1超参数和验证数据集362.5.2预测模型的评估372.5.3用于数据管理和学习算法创建的工具2.6结论423考虑因素的长期客流量预测事件数据433.1摘要433.2导言443.3案例3.3.1票务数据463.3.2日历数据463.3.3事件数据473.4长期预测过程493.4.1流量预测的数据格式3.4.2方法503.4.3评估523.4.4模型的开发和优化533.5预测的结果和分析533.5.1全球客运量的预测结果543.5.2按机票类型分列的预测结果623.6结论644短期客流量预测4.1摘要674.2预测短期OD矩阵：案例研究4.2.1导言684.2.2数据来自雷恩694.2.3使用LSTM71预测OD矩阵4.2.4结果和讨论724.2.5结论774.3富裕的短期预测4.3.1导言784.3.2预测方法794.3.3实验844.3.4预测结果87ix4.3.5结论975用于乘客流量分析的交互式可视化公共交通995.1摘要995.2导言995.3城市流动性可视化方法的最新进展5.3.1公共交通报价分析工具5.3.2乘客需求分析工具5.3.3用于可视化交通服务和交通流量的工具104名乘客5.3.4创业公司开发的工具1045.4用于创建时空可视化的资源1055.4.1可定制的地图1065.4.2交互式可视化库1075.5空间-时间序列预测分析的可视化工具5.5.1案例5.5.2时间可视化1085.5.3空间可视化1115.5.4使用案例5.6结论119参考文献121数字列表131表列表135A附件137A.1表1371引言11.1背景和动机根据联合国经济和社会事务部（经社部）的数据L’expansion 许多国家将面临挑战，以满足其不断增长的城市人口的需求，包括住房、交通、能源系统和其他基础设施，以及就业和教育和医疗保健等基本服务。 第四份报告确认了国际共识，即需要采取紧急行动，限制与人类活动密切相关的全球变暖的影响。在这种背景下，城市和城郊地区人口不断增加，温室气体排放量不断增加，各国显然需要在未来几年以更可持续的方式适应和改进城市规划和公共服务。在本文中，我们特别关注运输部门，这是温室气体增加的主要来源之一事实上，[RR17]运输部门是二氧化碳（CO2）排放量第二大的部门，2010年排放量为55.3亿吨，仅次于能源部门的具体而言，卡车、公共汽车和轿车占运输部门二氧化碳排放量的74%在此背景下，本论文的主要目标是改善向用户提供的公共交通服务，以促进其使用，而不是个人汽车用于公民的日常旅行。我们的目标是通过全面减少我们旅行时排放的温室气体来减少交通对环境的影响。2第一章引言我们受益于数据科学领域的发展所带来的技术进步数据收集、机器学习方法的开发（如机器学习），以提高交通运营商对城市地区用户 最终，目标是提供有助于改善公共交通服务的信息，如交通服务和向乘客提供的有关其交通工具的信息。更具体地说，我们正在研究通过日历数据、事件数据、事故数据），考虑加拿大蒙特利尔、法国雷恩和巴黎三个城市的交通网络。1.1.1 社会、经济和环境公共交通的建立和使用不仅有利于用户，也有利于其所事实上，根据以下各节详述的各种研究此外，[WR09]的研究表明，公共交通的发展促进了城市的经济增长，并通过减少温室气体排放（与私人汽车的使用相比）有助于对抗全球变暖1.1.1.1. 社会、社会和经济考虑根据[NK19]的作者，世界正在经历人类历史上最强劲的城市增长世界上超过50%的人口生活在城市，预计在未来20年内，这一数字将上升到70%这一现象意味着城市中二氧化碳含量的增加，这可能导致健康问题，并成为对抗全球变暖的刹车。事实上，根据[Mit+18; Bai+19]的作者，城市人口的在此背景下，公共决策者有责任发展可持续和高效的城市交通系统，以减少温室气体排放，并确保人们在未来的城市中茁壮成长31.1背景和动机D’autre 这些研究表明，生活在有公共交通工具的地方的人较少使用私人汽车，而倾向于步行、骑自行车或使用公共交通工具等替代方式。这减少了污染和车祸，同时增加了用户的身心健康此外，这项研究还表明，它使一些人更容易获得重要的服务，如获得粮食和保健服务。D’autres aboutissants positifs résultent du développement des systèmes de transports事实上，根据[WR09]的作者，公共交通服务促进了就业创造和经济增长，同时减少了能源使用1.1.1.2. 环境考虑因素全球变暖是观测到的全球平均温度（海洋和空气温度）升高的现象二氧化碳（CO2）、甲烷（CH4）、一氧化二根据Ritchie等人的研究[RR17]关于联合国粮食及农业组织的数据（联合国粮食及农业组织，粮农组织），运输是第二大二氧化碳排放部门，2010年排放量530亿吨（铁路运输占二氧化碳排放量的不到3%，卡车、公共汽车和汽车占运输部门的74%）排在能源部门（电力、建筑、供暖）之后，二氧化碳排放量因此，减少在全球范围内，几个国家（COP21、G20、G7）举行了会议，以我们可以特别提到2016年11月4日生效的《巴黎协定》，该协定由COP21参与国（195个国家+欧盟）在巴黎气候大会期间实施。关于欧洲联盟的战略4第一章引言向所有用户开放，并符合可持续性要求，同时考虑到经济可行性、社会公平以及健康和环境质量的需要加拿大也有一个减少排放的气候计划（在加拿大，交通运输占其排放量的25%，落后于工业部门，工业部门占40%，在魁北克，交通运输是主要的排放源，几乎一半的排放量领先于工业部门）。 根据加拿大政府网站，该国的目标是通过对公共交通的历史性投资来减少交通的影响。发展公共交通的社会、经济和环境方面的考虑表明， 从这个意义上说，前面所描述的一切都激发了对公共交通中流动性的研究，其总体目标是增加其吸引力。这就是本文工作的背景。1.1.2 用于分析城市流动性的不同类型的数据不同类型的数据（个人、非个人）可用于分析城市流动性 在欧盟和加拿大，个人数据（与已识别或可识别的自然人相关的信息）受法规约束。事实上，在这些地区，此类数据的处理受《通用数据保护条例》（GDPR）的监管。任何组织，无论其规模、所在国和活动如何，都事实上，GDPR适用于任何公共和私人组织，无论其是否代表自己处理个人数据，只要其成立于这些地区或其社会活动直接针对欧洲或加拿大居民。1.1.2.1. 用于分析用户移动性的数据许多工作侧重于分析城市和城郊地区的人口流动，特别是利用数字数据进行这一分析。存在几个数据源，每个数据源都有其优点和缺点。51.1背景和动机对公共交通出行的分析传统上依赖于报告性调查[Zmu+13]。我们可以特别提到法国现有的各种旅行调查，即家庭旅行调查、国家交通调查、全球交通调查和始发地-目的地调查，以及加拿大的国家家庭调查和目的地调查。从调查中获得的信息是详细的，例如，可以年龄、性别等）以及关于家庭的信息（大小、结构）或关于移动日志的信息（例如，模式、动机等）。另一方面，这些调查费用昂贵，而且不可能获得所有公共交通使用者的详尽信息（OD调查的样本可能占家庭总数的5%至15%）。 此外，这些数据在答复中有很大的偏倚（不存在/不精确），并且仅在大的时间抽样（5 - 10年）中收集。GPS数据这些轨迹是单模式或多模式的，它们允许公共汽车、出租车等）以连续的方式这类数据的挑战是根据位置和速度等几个参数来定义个人使用的旅行模式电话数据由电话天线收集的这些数据根据天线的位置在地理上被分割它们不提供电话数据可分为两大类，即呼叫详细记录（CDR）和被动网络记录。CDR数据的缺点是其采样频率 此外，使用该数据定位用户需要积极使用电话（呼叫和SMS）。与CDR数据不同，被动数据允许在不使用时定位电话因此，被动记录比CDR数据更方便地用于移动电话跟踪，因为它们更频繁。3本论文中使用的数据6第一章引言近年来，已经进行了几项使用蓝牙和Wifi数据分析城市移动性的研究[Lah+14; SKO16; ElT+17]。 这种类型的数据只需要很低的成本就可以收集。但是，只有当用户的设备连接到网络或其蓝牙或WiFi网络处于活动状态时，才能收集这些信息。这导致了城市交通中乘客出行的部分收集1早在2004年，Bagchi和White [B W04]就研究了票务数据在分析流动性实践中可能发挥的作用，并认为票务数据有可能补充甚至取代更传统的数据来源（如调查数据）。在这项工作中已经确定的问题之一是缺少数据，例如智能卡持有者的个人详细信息（例如，年龄、性别、收入等（出于隐私原因省略），以及旅行目的地（AFC系统很少收集）。这种类型的数据的优点是，除了在欺诈情况下进行的旅行之外，它们可以收集几乎所有使用公共交通工具的乘客的旅行。 鉴于这些优势以及蒙特利尔、雷恩和巴黎交通当局提供的这些优势，我们决定将这些数据用于我们的公共交通拥挤分析（预测和可视化）工作。图1.1显示了所研究的不同交通系统的地图，即蒙特利尔的Opus地图、雷恩大都市的Korrigo地图和用于在法兰西岛地区旅行的Navigo地图。图1 1.1.："Opus"、"KorriGo"和"Navigo"智能卡，供加拿大蒙特利尔、法国雷恩和巴黎等城市的公共交通系统用户使用71.1背景和动机1.1.2.2. 用于分析城市交通供应的数据近年来，出现了三种数据格式，以通用和可持续的方式存储、共享和分析城市交通供应的时间和地理信息。 这些格式如下。通用运输饲料规范，GTFS此格式由Google员工Chris Harrelson于2005年创建。它最初被命名为Google Transit Feed Specification，后来被重新命名为General TransitFeed Specification，以使其更容易使用。 它是一种数据格式，用于共享运输系统的时间表以及与运输网络结构相关的地理数据（例如，列车时刻表和位置等）。它与一组至少6个CSV文件（最多13个）相关联，每个文件定义一个信息表：运输运营商、运输线路、行程、每个站点的在北美自行车共享协会的指导下，GBFS由公共、私营和非营利部门的共享自行车系统所有者和运营商、应用程序开发商和技术提供商创建。 这是自助自行车服务（VLS）和自由浮动服务的开放数据标准。GBFS允许以可公开在线访问的统一格式提供实时数据流，重点是本规范的设计考虑到了以下概念：GBFS中包含的数据旨在供个人使用，目的是提供有关自行车可用性的移动数据规范，MDS创建于2018年，是一套新的数据规范和数据共享要求，专门针对电动滑板车和自由浮动自行车。 受GTFS和GBFS的启发，MDS的目标是为市政当局提供编程接口（API）和数据标准，以帮助他们作为服务提供商存储、比较和分析移动数据。3本论文中使用的数据8第一章引言MDS帮助城市收集和分析来自 MDS是帮助城市和监管机构的数字基础设施的关键组成部分。 MDS目前在美国的三个城市使用，即奥斯汀、洛杉矶和圣莫尼卡。一个例子是洛杉矶交通部（LADOT），在那里MDS被用来了解自由浮动的流动性是如何工作的据我们所知，这种数据格式MDS由两个不同的组件组成：• L’API 当市政当局向移动服务提供商请求信息时，提供商的API具有标准格式的历史操作视图。• 该机构的API于2019年4月首次发布，由监管机构实施。第一次实施于2019年2月上线。当发生事件（如旅行开始或结束）时，提供商会查询1.1.2.3. 用于分析城市流动性的其他数据交通运营商生成和使用的一些数据可间接用于我们可以特别提到交通网络上发生的事故的报告或列车上的事故数据2在一些运输系统中，一旦旅行者事故、电气故障等）， 定义此问题的信息存储在数据库中。 该信息通常包括事故原因的描述、事故的开始和结束时间以及受影响的车站。这些数据是在91.1背景和动机记录以具有不同事件的历史记录，还可以用于更详细地分析它们对运输供应的影响在法国铁路网上，这种类型的数据对应于以地理定位的方式测量消耗或重新注入到接触网的功率，所有列车每天24小时每5分钟提供一次这些数据最初是为铁路运营商和能源供应商之间的计费目的而收集的，经过预处理和探索，可以研究每列列车的乘客数量。事实上，根据[ACO18]的作者，可以使用这种类型的数据，通过比较类似路线上吸收的功率来根据这项研究，这种类型的数据还可以用于其他分析，如了解列车的位置，自动检测电力基础设施的某些故障等。与交通领域相关的其他数据可用于分析乘客流量，例如来自路线查询和社交网络的数据。这些数据中的一些可以通过使用API检索信息来收集，通过直接向管理者请求信息 管理路线查询的公司）或通过从不同网站提取内容（网页抓取）。除了帮助旅行者选择到达其目的地的最佳路线之外，该数据还允许运输运营商基于用户请求的路线来估计运输网络的不同部分上的来自社交网络的数据一些社交网络，如Twitter，可以帮助交通系统运营商向其用户提供关于网络上发生的各种事件的近乎实时的信息。同样，使用公共交通系统的用户可以通过在这些网络上发布的消息来表达他们的不满，并且还可以实时中继关于系统操作的信息。