在汽车应用安东尼·纳萨尔引用此版本：安东尼·纳萨尔。在汽车应用中优化分布式计算系统的资源利用。嵌入式系统勃艮第弗朗什-孔泰大学，2021年。英语NNT：2021UBFCD014。电话：03252900HAL Id：tel-03252900https://theses.hal.science/tel-032529002021年6月8日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHE`SE DE DOCT ORA TDELPRE′P ARE′ EA`LE'coledoctoralen°37工程和微技术科学信息学博士parANTHONYNASSAR汽车应用汽车应用系统中资源利用的优化2021年2月4日，在Belfort、devantleJurycompose′de，MRCERINCHRISTOPHEProfeseura`MRCHBEIRRICARDProfesseura`MRMOSTEFAOUIAHMEDMaıtredeconfe′sala`MRDESSABLESFRANCOISInge'nieurchezGroupePSACodirecteurdethe'se博士论文法国-孔特大学的研究所37号工程科学与微技术博士学校计算机科学博士作者：ANTHONYNASSAR汽车应用汽车应用系统中资源利用的优化论文提出并在贝尔福公开辩护，04-02-2021陪审团的组成：CERINCHRISTOPHEProfessoratUniversite'SorbonneParisNord校长CHBEIRRICHARDProfessoratUniversite′dePauetdesPaysdeMOSTEFAOUIAHMEDUniversite′deFranche-Comte′Supervisor副教授PSA集团联合主管DESSABLESFRANCOIS工程师ABSTRACT汽车应用安东尼·纳萨勃艮第大学-法国-Comte'，2020年主管：AhmedMostefaoui，Franc.Dessables汽车行业在数字时代面临的主要挑战之一是为客户提供可靠且无处不在的互联服务，这一点近年来越来越受到期待并已成为常态。正如我们今天智能汽车已经进入市场几年了，为司机和乘客提供更安全，更舒适的旅程，特别是更有趣。所有这一切都是通过在幕后设计高性能IT系统，同时节省这些资源。本论文是与法国汽车制造商PSA集团合作完成的，PSA集团旗下包括雪铁龙、DSAutomorks、标致雪铁龙以及欧宝和沃克斯豪尔等汽车品牌，旨在通过新的相关信息来源改善平台资源的配置。互联汽车概念出现在21世纪初，通过将车辆连接到数字知识网络（互联网）来为车辆配备一层智能，使汽车制造商能够为驾驶员提供新服务汽车行业大数据架构的性能依赖于跟上互联车辆的增长趋势并保持高质量的服务。PSA Cloud在为所有品牌的联网车辆提供实时数据处理服务方面具有特殊的负载。随着每年约20万辆联网汽车的销售，基础设施不断受到挑战。因此，我们的两个贡献的目的是优化资源的分配，同时考虑到连续流处理应用程序的具体情况，并提出了一个模块化和微调组件架构的汽车场景。我II首先，我们将讨论流处理引擎中的一个基本和必要的过程，即资源分配算法。部署流应用的核心挑战是如何将表示应用的操作符图映射到可用的物理资源，以提高应用的性能（提高吞吐量，减少处理时间）。我们已经针对这个问题表明，基于固有的数据并行性的方法并不一定会导致所有应用程序的最佳性能。实际上，通过真实世界的应用程序（即，Eco-Driving服务），我们已经表明，基于对目标应用程序和基础设施功能的具体细节的深入分析的映射我们的实际经验表明，与直接方法相比，我们的工作将吞吐量提高了约4%。这一改进使PSA其次，我们重新审视大数据架构，并设计一个端到端架构，以满足当今数据密集型应用程序的需求。如今，联网车辆（CV）可以从集成的车载传感器收集多达170种不同的信息（如速度、温度、油耗），并将其实时传输到基础设施，通常通过4G/5G无线通信。这一现实为开发新的和创新的远程信息处理服务带来了许多机会，其中包括驾驶员安全、客户体验、质量和可靠性、基于位置的服务、经销商服务、信息娱乐等。预计到2025年底，全球道路上将有约20亿辆联网汽车在实时或批处理模式下，这些大数据的管理对底层数据管理平台施加了严格的约束。在这项工作中，我们报告了VC真正的大数据平台，特别是PSA集团部署的大数据平台。特别是，我们介绍了平台不同组件中使用的开源技术和产品，以收集，存储，处理，最重要的是，利用大数据，并强调为什么Hadoop系统不再是大数据的事实上的解决方案本论文通过对云平台上的资源分配技术的工作负载表征、对部署应用程序的特殊性的研究以及对处理操作符放置算法的评估来改进云平台上的资源分配技术。 其次，它详细介绍了汽车行业工作流程的端到端大数据架构。所研究的算法不能适应动态变化的数据流。尽管如此，我们相信这种级别的适应性可能是有用的，特别是为了保持高水平的服务，良好的数据流和更少的停机时间，由于多次编译。关键词：大数据架构、查询优化、云计算、Hadoop生态系统、流计算、互联车辆RE'SUME'汽车应用系统中资源利用的优化安东尼·纳萨Universite'deBourgogne-Franche-Comte'，2020监督员：AhmedMostefaoui，Franc.Dessables汽车工业的一个重要组成部分是汽车工业，福尔尼尔阿sesclientsunniveaudeserviceviceconnecte'他是谁？再加上一个再加上的attendu和quiestd eve nulano rmecesde rnie`resan ne'e s。今 天 我们所有的设备都为我提供了一些小的物体，例如，智能手机、智能冰箱和汽车世界并不例外，智能汽车也不例外。当我们在进行曲中时，我们会把它放在中间，然后建议进行曲和passagersdest rajetsplussur s，plusconfortablesetpar ticul ie`rementplusa musant. 在这些通道中，这些系统将为您节省资源的使用。 CIFRE是一家与PSA集团合作的汽车制造商 ，该 公司包括Citroeen、DSAutomorts、Peugeot、Opel和Vauxhall等品牌的汽车，为我提供了一个资源分配的平台，并为相关业务提供了新的资源。在2000年，Ve'hiculeConnec te'的概念开始出现，它构成了一个“在互联网上的数字通信网络中提供智能的沙发”。在这方面，汽车制造商提出了新的导电服务。汽车中 的大 数 据 基于 一 个架 构 ， 它 可以 满 足 车辆 连 接的 各 种 需求 ，并 保 持 一 个 服 务 质 量 。LeCloudPSApos se`deunechargepar ticul ie`relorsquu'ils'agit d'assurer un service temps r e' el de t reaitement de donn e'es pour tous les e' hicules connect e's de la mar-que：a v ec 200k ve 'hicules connect e's v endus chaque ann e' e，l'infr ast ructure estconciliation- ment questaud e 'fi.IIIIV这些资源包括用于控制流量的应用程序的专用资源，以及用于汽车系统的组件模块和部件的建议架构。前提是，我们通过流处理引擎中的一个基本进程和一个基本进程进行传输，这是一个资源分配算法。 Lede'ficent raldude'ploiementd'applications de streaming est la manie're de mapper le g r aphe des op e 'r ateur s，rep r e' sentant l'application，aux resources p hysiques disponi bles afin d'am e 'liquilles per or mances de l'application（am e' lio ration du d e 'bit，r e' duction du temps de taitement）. Nousavonsci ble′ceproble`meenmont rantquel'approche bas e ′ e sur le paral l e ′lisme des donn e ′ es inh e ′ rent ne conduit pas n e ′ cessairement aux meilleures per for-mances pour toutes les application s. 事实上，这是一个世界性的应用程序（即。例如，leserviceEco-D riving），我们将根据对应用程序的空间和功能的分析，提出一种解决 方 案 。 我 们 的 建 议 是 ， 在 钻 头 上 直 接 使 用 4% 的 病 毒 。Cetteame'liorationper-meta`l'infrast ructure de PSA de gérer pre` s de 800000 v e'hicules supp l e' mentaires sur les 20 millions de V e 'hicules Connec t e's attendusd'ici 2025.第二，我们重新审视大数据架构，并关注一个架构，该架构围绕着我们需要的应用程序的实际需求。今天，连接VC的V e 'hicules（V e' hicules）只能用于收集170in formationsdife′rentes（vitess e，tem pe′ratur e，consommationdecar b u rant，etc.）一个`在开始和完成传输之前，我们需要一个基础架构，在没有4G/5G的情况下进行通信。Cettere'alite'soule'veedenom-breusesopportunite'spourde'velopperdesservicestel'le'matiquesnou veauxetinnovants ， ycompri s ，entreautre s，lase'curite'desconducteur s，l' e xp e 'rence client，la qualit e' et la fi-abilit e '，les service g e' olocalis e's，les service des concretsionnaire s，l'in fodi ve r tissement，etc. 如果我们能在2025年的时候把20亿美元的资金用在蒙德的公路上，那么我们就可以生产30亿美元的汽车了。 LagestiondeceBigData，enmodere'elouparlot s，implementdesappropriateaintesstrictesa`laplate formedegestiondedon ne'essous-jackie. 在这方面，我们的目标是为V C的大数据提供一个平台，这是PSA集团的一部分。在某些方面，我们提供了开源技术和产品，这些技术和产品在不同的板块组成中发挥作用-例如收集、存储、调整等，以及重要的支持，例如利用大数据， 以 及 支持Hadoopn 'est加上事实上的大数据解决方案。总的来说，这是一种技术上的进步，d’allocationv对申请专利的专利权、专利权和专利权价值的研究我想我应该把它放在你的办公室里。 第二，她设计了一个关于汽车工业的大数据架构。我们的算法和研究不可能适应动态变化的数据流.Nouspensonsne'anmoinsqu为了让您能够更好地提供服务，我们将在多个版本的汇编中提供一个良好的流量和更多的时间。MO TS-CLE'S：架构大数据，优化需求，云计算，e'cosyste`meHadoopp，流计算，ve'hiculesconnecte's一个常识我想对我的研究助理Ahmed Mostefaoui副教授和我的同事Dessa ble s女士表示深深的感谢，感谢他们对我的研究工作的耐心指导、热情鼓励和宝贵批评。本人亦谨此衷心感谢陈先生。 感谢Eric Jacquet在压力测试和数据分析方面的帮助，感谢Amir Haroun先生帮助我加强了在流计算引擎方面的知识，感谢Crisitina Mateos女士在各种技术问题上的支持。我还要感谢AND团队的成员和教授（Algo rithmiquedist ri bue），感谢他们积极的工作和我们共同分享的愉快时光。我想感谢所有的博士。Femto-ST实验室的学生们，在过去的几年里，我和他们度过了美好的时光。我非常钦佩和感谢Stellantis（f.k.a Groupe PSA）的所有团队成员，我有机会与他们一起工作并分享我的工作场所。这个充满活力，多元化，深思熟虑的团队支持和挑战我，使我成为一个更好的研究人员和一个坚定的数据工程师。此外，我要感谢Stellantis博士生动画团队为我提供了管理程序所需的资源以及整个论文的精神和精神支持。最后，我要感谢我的父母、家人和朋友在我学习期间给予的支持和鼓励。VIIC内容摘要i雷苏米埃三I介绍11介绍31.1一般性介绍. 31.2论文重点51.3主要贡献51.4出版物61.5论文计划7II背景92智能交通系统、VANET和车辆互联网2.1一.导言. 112.2车载Ad Hoc网络（VANET）112.2.1车联网的发展2.2.2现有的车联网系统架构132.3智能交通系统152.3.1历史162.3.2ITS的挑战182.3.3目前的解决办法192.4结论19IXx目录3通用处理框架213.1Hadoop系统：起源213.1.1Hadoop/MapReduce223.1.2Hadoop增强功能233.2Hadoop生态系统263.3火花283.4Kafka作为一个消息传递系统303.4.1什么是卡夫卡？....................................................................................313.5结论344专用框架：大数据流处理354.1一.导言. 364.2在线数据处理架构4.3数据流应用示例384.3.1运输网络监测和优化4.3.2医疗保健和患者监测414.3.3讨论434.4信息流处理技术434.4.1活动数据库434.4.2连续查询444.4.3发布-订阅系统4.4.4复杂事件处理系统4.4.5ETL和SCADA系统454.5流处理引擎454.5.1数据464.5.2加工474.5.3系统架构484.5.4实施情况494.6资源管理4.6.1分布式计算54目录Xi4.6.2查询/性能优化564.7结论. 58三、捐款.595PSA61集团的大数据架构5.1导言. 625.2大数据的五个V................................................................................................................5.3管理车辆大数据：从收集到利用5.3.1数据感测675.3.2数据收集5.3.3数据排队705.3.4设备和参考数据管理705.3.5数据处理5.3.6数据利用和服务5.4汽车应用...........................................................................................................................5.4.1生态驾驶815.4.2气象服务815.5建筑设计825.5.1业绩825.5.2质量855.6讨论895.7结论.906大数据汽车基础设施6.1导言. 946.2速度处理子层966.3案例研究应用程序986.3.1生态驾驶服务描述996.3.2应用架构996.3.3数据集101目录6.3.4融合战略1016.3.5建议的办法1036.4实验评价1056.4.1直接方法的结果1056.4.2SPE内置方法结果1056.4.3结果1086.5结论110IV结论1137一般性结论1157.1博士论文摘要7.2前景116V附录135A 附录：PSA137集团A.1 PSA137集团介绍A.1.1市场与活动137A.1.2主要品牌139我产品介绍11产品介绍本论文致力于推进汽车大数据的发展，重点关注流处理应用中的资源分配和通用的大数据分析框架的IT架构。研究结果显示，汽车- 在Femto-ST实验室的信息和复杂系统（DISC）部门与法国汽车制造商PSA集团合作完成（参见附录A）。本章介绍了本文所做的工作。它解决了一般情况下，在这项工作中研究的挑战，然后简要介绍了本论文1.1 /一般业务介绍大数据已经成为各个部门、科学学科和整个社会的中心课题。这种流行是由于能够产生、捕获、分发、处理和分析具有几乎普遍价值的大量不同数据，并从根本上改变人们的生活和使用现代技术的方式、企业的工作方式以及科学的开展方式。银行、汽车、制造业或医疗保健等不同行业将从更好、更快的数据处理中受益匪浅，正如“物联网”和“工业4.0”等行业当前的发展所证明的那样。例如，使用大数据技术和分析的数据驱动研究方法在地球科学，天文学或生命科学中越来越受欢迎。使用社交媒体、网络工具和智能设备的用户在网上花费的时间越来越多，他们创建和使用大量数据，并针对定制的内容、广告和评论进行定位。未来大数据相关的大部分进步仍处于早期阶段。然而，如果在管理和使用大数据方面的众多技术和应用特定挑战得到成功解决，那么就有很大的希望。一些技术挑战与不同的“V”属性相关，明确地说是可扩展性、多样性、速度和准确性。其他问题涉及机密和敏感数据的安全性，以保持高度的隐私性，以及翻译大量3第一章：介绍将大量数据转化为有价值的见解或更好的活动。所有这些发展的最终结果是，大数据的现有技术环境尚未建立。然而，在Hadoop生态系统中，以及各种数据库供应商和其他IT公司（如Google，IBM，Microsoft，Oracle）的产品范围内，有几种潜在的方法Hadoop的早期版本非常高效，但在各个领域都达到了极限，例如，为了帮助处理诸如数据流之类的快速变化的数据或处理高度迭代的算法，例如，用于图形处理或机器学习。此外，Hadoop环境基本上与基于关系数据库和SQL的常见数据处理和分析方法分离这些因素导致Hadoop生态系统中出现了许多额外的组件，包括Apache Spark和Flink等通用处理框架以及专用组件，例如，用于图形数据、数据源或机器学习。此外，现在存在几种方法可以将类似Hadoop的数据处理与关系数据库处理（大数据趋势的主要推动者是功能强大且价格合理的计算平台，这些平台允许在大型计算集群内容错存储和处理PB级数据，这些集群通常配备有数千个处理器和TB级内存。像谷歌和亚马逊这样的网络巨头开创了这样的基础设施，但像Hadoop生态系统这样的开源框架软件使之成为可能。最初，Hadoop由几个核心组件组成，特别是其分布式HDFS文件系统和MapReduce框架，用于相对简单的高度并行应用程序的开发和执行，以处理集群基础设施上的大量数据。智能交通系统（ITS）的概念被实施，以有效地管理交通，提高道路安全，保护我们的绿色环境。如今，ITS应用变得更加数据密集，并且其数据使用“5V of Big Data”来表示。因此，需要实施大数据分析，以充分利用这些数据。车联网（IoV）将ITS计算机连接到云计算中心，在那里进行数据处理。车载自组织网络（VANTIOULAR AdHoc Networks，VANTIOULAR）的概念在十多年前被引入，其中安装有无线通信设备的车辆将形成网络。在VANET中，车辆之间（V2V）或车辆与基础设施网络之间（V2I）的通信是可能的。VANFAN的主要目标是改善道路安全。尽管如此，VANESCO的理念转变为车联网（IoV），以满足ITS应用不断增长和不断发展的需求。联网车辆是车联网世界的枢纽，用于感知和跟踪交通拥堵状况、道路状况和环境污染水平。先进的驾驶员辅助系统和最终的自动驾驶应用程序需要许多计算和通信技能，以成功完成其计算密集型和延迟敏感的任务。据英特尔报道，需要多个传感器来收集
我的内容管理
展开
