环境人群感知下的时空数据分析

环境人群感知Hafsa El Hafyani引用此版本：HafsaEl Hafyani。环境人群感知背景下的时空数据分析数据结构和算法[cs.DS]。巴黎萨克雷大学，2022年。英语NNT：2022UPASG035。电话：03938740HAL Id：tel-03938740https://theses.hal.science/tel-039387402023年1月13日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire这些博士NNT：2022UPASG035从参与性时空数据采集的角度分析时空数据时空数据分析环境群众感知巴黎萨克雷大学博士论文巴黎580信息communication（STIC）博士学位：Informatique研究生院：Informatique et sciences du numériqueRéférent：Université de Versailles Saint-Quentin-en-Yvelines这篇论文由Karine ZEITOUNI教授指导，并由Yehia TAHER教授共同指导，由巴黎萨克雷大学（Université Paris-Saclay，UVSQ）编写Thèse soutenue à Versailles，le 05 mai 2022，parHafsa EL HAFYANI陪审团组成Ana-Maria Olteanu-RaimondPresidente et特别报告员Directrice de recherche（HDR），LASTIG，University古斯塔夫·埃菲尔，IGN-ENSGSandro Bimonte特别报告员兼审查员ValérieIssarnyDirectrice de recherche（HDR），INRIA西里尔·雷海军学院研究所会议主任Karine ZeitouniDirectrice de thèseEscherosure，UVSQ-Université de Versailles Saint-伊夫林地区屈坦标题：Analyse de données spatio-temporelles dans le contexte de la collecte participative de donnéesnementales关键词：Fouille de données，sciences de données，enrichissement，masses de données，internetdes objets，données spatiotemporelles简历：空气质量是主要的信息来源。 为了人类的健康，我们不应该冒险。 那些野兽的声音很刺耳，很残忍， La collecte participative ou Mobile Crowd Sensing complètes.在英语中，这是一种基于模糊理论的新范式，它弥补了现有技术的不足，提出了一种新的技术，即采用微胶囊技术对样本进行全面分析和提取，为测量个体对空气污染的样本采集和对MCS输入样本和文本的识别提供了可能。我们的决心是一个重要的决定Cela amène à générer en continuu cessus analytiquecomplete et comprenant le prétraite- des séries de données géo-localisées，whi finissent ment desdonnées ， expansionissement avec des in- par- par-former une monuments de données.Cell-ciformations contextuelles ， ainsi que la modélisation constitute une mineNous l'avons implé- sesvariées et une opportunité unique d'extraction menté en veillant à automatiser son deploiement.对污染的认识。这些建议的方法适用于Toutefois，这种分析非常简单，标题：环境人群感知背景下的时空数据分析关键词：数据挖掘，数据科学，丰富化，大数据，物联网，时空数据翻译后摘要：空气质量是一个主要的风险之间的原始传感器数据系列和可用的因素，在人类健康。移动人群感知信息：原始数据是高度不均匀的，有噪声的，并且（MCS），这是一种基于不完整的新范式。这种新兴的连接微传感器技术所面临的主要挑战是通过提供全面的评估机会来填补这一空白，以便随时随地在接触空气污染的情况下进行数据分析和挖掘。 MCS文本。我们建立了一个端到端的分析-这导致了地质管道的不断生成，其中包括数据预处理的数据系列，这导致了大数据卷，它们通过上下文信息丰富起来。这样的数据被认为是一个矿，以及数据建模和存储.我们实现了各种分析，并对该管道进行了独特的优化，同时确保了其关于污染部署的知识发现的自动化的一致性。建议的方法是暴露。然而，实现这种分析远远适用于从直接收集的真实世界的数据集。事实上，Polluscope项目存在差距。， P，o›P，PPP，，oP，，？、P，你，P，？OnP，（怎么样？？LA，？一个9 aI？r，9Qs›a"我“？nnP@？›a，， .- -我是@？，第97页一个“”，？"我“你说：“你们干吧！真主是明察你们的行为的。他的使者和信士们。《古兰经》第9章第105节献给我珍贵的家人我的母亲（Nezha Mrani Alaoui）我的父亲（Mohamed El Hafyani）我的姐妹（Mounia Fatima）我的兄弟们（阿卜杜勒拉蒂夫，乌萨马，哈姆扎·阿明）.Hafsa @ Versailles，法国2022年5月5日致谢在UVSQ-Université Paris-Saclay这个为期三年的博士课程的旅程已被证明是一个独特的学习经验，对我来说，无论是专业还是个人。我衷心感谢在这个充满挑战和令人兴奋的博士学位期间陪伴我首先，我想对李教授表示深深的感谢Karine Zeitouni的动力，热情和丰富的知识。她三年的指导无论是在科学上还是在个人上都是非常有益的。她启发了我做研究和成为科学家的各个方面。她的决心、勤奋和丰富的经验一直激励着我不断前进。我很幸运，也很高兴能有卡琳这样的良师益友我真诚的感谢也应该去我的共同顾问博士叶海亚塔希尔总是如此有帮助和激励。在过去的三年里，他一直给我指导、支持和友谊。我最大的感谢要感谢Yehia从各个方面给予我的善意和支持我要感谢我论文答辩的所有评审团成员，包括Ana-Maria Olteanu-Raimond博士（HDR），SandroBimonte博士（HDR），Valérie Issarny博士（HDR）和Cyril Ray博士。 我很感激他们在阅读和评估这篇论文工作的时间和努力。我要特别感谢Ana-Maria Olteanu-Raimond博士（人类发展报告）和Dr.Sandro Bimonte（HDR）审查我的论文。我非常感谢我的博士学校STIC，更广泛地说，感谢巴黎萨克雷大学和国家研究机构，他们通过资助协议ANR-15-CE 22 -0018下的Polluscope项目资助了我的工作。我想感谢所有来自LSCE、CEREMA和iPLESP的Polluscope财团的成员，他们以这样或那样的方式为这项工作做出了贡献，特别是Boris Dessimond、Isabella Annesi-Maesano、Basile Chaix、Valerie Gros、Nicolas Bonnaire、Laura Bouillon、Salim Srairi和Jean-Marc Naude。本论文能够达到这样的水平，离不开DAVID实验室众多优秀同事的贡献我非常感谢Laurent Yeh博士和Zoubida Kedad博士（人类发展报告）对我的研究提供了宝贵的反馈，并一直支持我的工作。我要感谢我的实验室伙伴（Jingwei、Souheir、Redouane、Zoé、Mohammad Abboud、MohammadRihany 、 Alaa 、 Perla 、 Mariem 、 Lili 、 Ahmad 、 Baudouin 、 Robin 、 Julien 、 Ludovic 、 Julien 、Alexandros、Riham、Pierre、Livia），感谢他们一直以来对我的支持。我很自豪地说，我在David实验室的经历令人兴奋和有趣，激励我继续从事学术研究。借此机会，我想对我的朋友Salima和Halima表示赞赏和感谢，他们在风风雨雨中给予了我无尽的动力和情感支持。最后但并非最不重要，甚至最重要的是，我衷心感谢我宝贵的家人无条件的爱，无尽的耐心和稳定的支持，特别是我的母亲Nezha Mrani Alaoui，我的父亲Mohamed El Hafyani，我的姐妹Mounia和Fatima，以及我的兄弟Abdellatif，Oussama，Hamza和Amine。这篇博士论文就是献给他们的。5内容图11表131一.导言. 151.1背景. 161.2动机171.3问题陈述研究问题191.4捐款221.5论文结构241.6科学贡献252艺术272.1一.导言. 282.2轨迹数据预处理292.2.1GPS轨迹数据噪声过滤292.2.2时间序列噪声滤波302.2.3讨论. 302.3轨迹数据分割312.3.1停止&移动检测312.3.2移动Epperiment Segmentation332.3.3时间序列分割332.3.4讨论352.4活动识别362.4.1从GPS轨迹362.4.2可穿戴传感器的活动识别392.4.3讨论412.5通用机器学习算法2.5.1多变量时间序列分类422.5.2多视角学习432.5.3讨论442.6移动对象数据库和仓库442.6.1移动对象数据库442.6.2轨迹数据仓库452.6.3其他作品DW482.6.4讨论4978含量3轨迹数据扩充来513.1导言。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .523.2多维时间序列分割。. . . . . . . . . . . . . . . . . . . . . . . . .523.2.1变点检测：相关工作总结。 . . . . . . . . . . . . . . . .533.2.2变点检测模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . .543.2.3实验和结果。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .593.2.4摘要。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .613.3学习微环境。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .623.3.1活动识别：相关工作。. . . . . . . . . . . . . . . . .643.3.2问题形式化。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .653.3.3多视角学习模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .683.3.4微环境识别模型。. . . . . . . . . . . . . . . . . . . . . . . .693.3.5混合多视图学习模型. . . . . . . . . . . . . . . . . . . . . . . . . .743.3.6实验和结果。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .793.3.7观点讨论. . . . . . . . . . . . . . . . . . . . . . . . . . . . .963.3.8总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .993.4结论。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .994多维轨迹建模1014.1导言. 1024.1.1挑战与挑战1024.1.2问题陈述1044.1.3语义轨迹数据建模1044.1.4捐款1064.2MCS-107对多维数据建模的要求4.3背景1084.4多维数据模型1104.4.1概览. 1104.4.2空间离散化1114.4.3时间离散化1124.4.4空间索引1134.4.5时间分解1134.4.6空间分解1144.4.7MULTICS通用模式1154.4.8应用场景1164.5实施和实验1174.5.1实验设计1174.5.2纵向分析1184.5.3空间分析1184.5.4时间分析4.5.5时间分解1214.5.6空间分解1224.5.7计算成本123目录.94.6结论与展望1275自动化数据分析管道1295.1导言. 1305.2问题陈述1315.3微服务架构：相关工作1315.4系统架构1325.4.1数据处理1335.4.2可视化1345.5微服务的设计1365.6可视化演示1395.6.1COMIC示范情景1395.6.2Grafana示范1415.7结论1426结论和未来工作1456.1捐款摘要1466.2未来的工作1496.2.1基于地图匹配的富集1496.2.2事件处理1496.2.3暴露概况1496.2.4隐私和参与者7参考书目151A 附录A. 165A.1数据收集活动165A.2数据收集166B 附录B.169B.1纵向分析169B.2空间分析169C 附录C. 171D 附录D.173图目录1.1在MCS18背景下收集的丰富轨迹示例1.2ETL数据管道的说明。.................................................................................................................... 221.3论文结构组织。................................................................................................................................242.1最新章节的结构................................................................................................................................282.2在轨迹32中停止和移动段2.3具有多个变化点342.4从原始轨迹数据到语义轨迹372.5根据GPS轨迹数据进行活动识别的一般数据流............................................................................. 382.6人类活动识别的通用数据采集架构................................................................................................392.7基于可穿戴传感器的HAR系统架构。.............................................................................................402.8多维模型的一个例子462.9TDW框架结构473.1变点检测模型的体系结构。............................................................................................................543.2在MCS55背景下收集的数据概述3.3持续专业发展在测试和验证阶段的表现3.4传感器间和微环境相关性。............................................................................................................633.5微环境识别过程概述。....................................................................................................................703.6在类平衡之前将数据分布到类上。................................................................................................723.7在类平衡之后将数据分布到类上。................................................................................................723.8空间维度表示763.9样本轨迹763.10 不同视图之间的准确性....................................................................................................................813.11 多视图方法混淆矩阵843.12 参数3.13 MVP混淆矩阵913.14 MLSTMP混淆矩阵933.15 KNN-DTWP混淆矩阵943.16 MVP+办公室位置纠正混淆矩阵943.17 参与者9999988的VGP活动预测.......................................................................................................963.18 参与者9999944的VGP活动预测.......................................................................................................974.1在监控监背景下收集的丰富轨迹示例..........................................................................................1034.2提出的丰富轨迹解决方案的概念架构。......................................................................................1064.3MULTICS概念模式。......................................................................................................................1114.4空间维度表示1124.5空间层级表示1124.6每个微环境的纵向分析..................................................................................................................1191112图的列表4.7巴黎和凡尔赛地区所有参与者的NO2浓度...................................................................................1204.8每天10分钟平均浓度1204.9所有参与者组合的每个微环境的最大小时平均值......................................................................1214.10 在一个轨迹121中的空气质量数据与收集的NO2数据4.11 以NO2数据为代表的PM10时间序列分解示例，Lin-Maxlog方法1224.12 空间分解后NO2的实际值与估计...................................................................................................1234.13 执行时间改变数据量。..................................................................................................................1265.1MCS中用于自动化数据分析管道的微服务设计.......................................................................... 1325.2轨迹及其相关测量的视觉分析1365.3系统实现原型1375.4COMIC可视化GUI。........................................................................................................................ 1405.5分类和CPD仪表板1415.6单视图和多视图模型之间的比较。..............................................................................................1425.7放大收集的数据。..........................................................................................................................142A.1两个组群中参与者的空间分布图，居住地..............................................................................................................................................166B.1一段时间内的纵向分析B.2在空间层级170的粗略级别处的曝光表的列表3.1四名参与者在每个微环境中花费的时间概览。. . . . . . . . .583.2每个维的累积和参数优化。. . . . . . . . . . . . . . .603.3新生成的数据集DJ的示例。. . . . . . . . . . . . . . . . . . . . . . . .693.4新生成的数据集DJ的具体示例。. . . . . . . . . . . . . . . . . . . .733.5每个微环境花费的平均时间。. . . . . . . . . . . . . . . . . . . . . . . . .803.6多视图学习器的性能（带/不带速度） . . . . . . . . . . . . . . . . . . . .823.7MLSTM-FCN的性能（带/输出速度）。. . . . . . . . . . . . . . . . . . . . . .833.8多视图学习器的性能（带/不带速度的2步方法。. . . . . . . . . . .833.9Scikit-Mobility和基于网格密度的模型之间的比较. . . . . . . . . . . . .863.10 各种模型变体的描述。 . . . . . . . . . . . . . . . . . . . . . . . . . .883.11 各种隐私友好模型的性能比较。. . . . . . . . . . . . . . . .893.12 各种隐私侵犯模型的性能比较。. . . . . . . . . . . . . . . .893.13 多视角学习者对参与者数据（前/后）后处理的表现 . .913.14 多视图学习器（2步分类）对参与者数据的性能后期处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .923.15 MLSTM-FCN对参与者数据（前/后）后处理的性能. . . .923.16 KNN-DTW对参与者数据（前/后）后处理的性能 . . . . .933.17 基于位置修正和后处理的多视角学习器在局部学习中的表现ipants. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .953.18 无NO2和BC的MVB的性能与 MVB。. . . . . . . . . . . . . . . . . . .983.19 TapNet对Polluscope数据在不同监督比率下的准确性结果。 . .994.1现有的工作在DW和OLAP系统的移动性分析。. . . . . . . . . . . . . . . .105A.1VGP和RECORD两个活动的一般特征。. . . . . . . . . . . . . .165C.1NO2值空间分解所用协变量的描述. . . . . .171C.2NO2值的统计摘要。. . . . . . . . . . . . . . . . . . . . . . . . . . . . .171131 - 导言内容1.1背景. 161.2动机171.3问题陈述研究问题.191.4捐款1.5论文结构241.6科学贡献...................................................................... 251516第1章介绍1.1 . 背景随着物联网（IoT）和地理定位技术的发展，越来越多的连接对象变得具有位置感知能力，包括车辆、船只和生物移动实体，例如人类和动物。如今，嵌入GPS的智能手机已不再是一种新兴趋势，而几乎是一种必不可少的功能。这种移动普适传感技术能够不受时间和空间的限制，连续生成大量的地理数据序列，并促进物理对象与其周围环境之间的连通性因此，为了监测特定的空间和时间现象（例如，空气质量监测、交通监测等），无线感测技术由于其感测其周围环境并产生可靠测量的能力而被肯定地使用。然而，传统的无线传感网络需要部署大量的传感器来确保大规模和细粒度的传感器的区域覆盖，这在经济上是不实用的，也是无趣的。例如，为了监测巴黎地区的空气质量，负责这项任务，在巴黎周围100公里的半径范围内部署了大约50个固定和永久站。 大约有30个车站位于巴黎，它的小王冠，其余的都分散在它的大王冠周围。如果我们想将空气质量监测系统扩展到覆盖整个巴黎地区，在更精细的层面上，肯定需要部署50多个固定和永久的监测站，以确保全面覆盖。然而，固定站及其维护的昂贵成本将使这一系统难以实施。幸运的是，称为移动人群感应（MCS）[51，57]的新范例使志愿者能够贡献由多传感器盒和移动终端获取的数据，在MCS场景中，参与者配备有各种传感器以及嵌入GPS的移动终端。它们在一个监测区域内自由移动，采集样品并将采集的数据上报监测中心，以覆盖观测到的现象，从而不断产生大量的地理数据序列。这种传感模式的特殊性是地理定位与随时间推移对所观察到的现象的观察和测量相结合。多个大规模应用场景受到MCS范例的启发，例如噪声监测[5]、放射性监测[97]以及空气质量监测和个人暴露，例如在Polluscope项目2的背景下。Polluscoe项目的总体目标是监测个人接触空气污染的情况，因为接触空气污染会促进严重慢性疾病的发展，特别是心血管和呼吸道疾病，1https：www.airparif.asso.fr/2http://polluscope.uvsq.fr/1.2. 动机17癌症，导致死亡率增加，预期寿命降低和护理使用增加。事实上，2019年巴黎地区每10人中就有1人死于空气污染[65]。2019年，巴黎地区与空气污染有关的死亡率估计为每年7，920例过早死亡。 幸运的是， 由于2019冠状病毒病疫情及卫生限制，二零二零年的空气质素非常出色。限制性措施导致二氧化氮（NO2）浓度和颗粒物（PM）减少。 与2019年相比，二氧化氮浓度的下降使大约310人死亡成为可能，颗粒物浓度的下降使死亡人数减少了大约180人[65]。因此，为了监测个人接触污染的情况，Polluscope项目招募了参与者，并为他们每人配备了一套传感器和一个移动终端，以收集空气质量测量值和全球定位系统坐标，作为地理日期数据系列。被招募的参与者，在自愿的基础上，收集空气质量测量，如颗粒物，二氧化氮，黑碳，温度和湿度的多传感器盒。移动终端用于收集GPS日志。 此外，还向参与者提供了一个移动应用程序，以便他们 可以提供关于测量的上下文的信息。因此，要求他们在每次改变地点时说明地点的类型（称为微环境），并提供关于影响污染物浓度从而影响其接触的具体事件的资料。 这种类型 信息的自我报告通常被称为自我报告。这些注释在MCS中非常重要。它们用于解释观测到的测量值，因为它们在很大程度上取决于环境类型（室内、室外或运输）。 如果没有这些信息，就无法正确解释收集的测量结果。此外，它们还提供了沿着参与者轨迹的更高抽象级别的洞察力。随着大容量数据的产生越来越多，越来越需要提出一种整体方法来有效地管理和分析由移动对象（即，参与者）产生的如此大量的时空数据序列，以填补数据产生和数据理解之间的差距。虽然文献提出了用于处理移动对象的不同解决方案，例如数据库社区中的移动对象数据管理，以及用于分析目的的若干数据挖掘技术，但这些方法不提供丰富的轨迹挖掘，这给应用程序开发人员留下了从原始丰富轨迹提取复杂信息的所有挑战1.2 . 动机MCS范例的特征之一是空间位置与连续测量和注释的组合，这导致语义丰富的轨迹。图1.1描述了富集的