时间数据迁移学习方法

时间数据威廉·理查德引用此版本：威廉·理查德。时间数据的迁移学习方法。机器学习[cs.LG]。巴黎-萨克雷大学，2021年。英语。NNT：2021UPASM037。电话：03550415HAL ID：电话：03550415https://theses.hal.science/tel-03550415提交日期：2022年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire博士论文NNT：2021UPASM037Methodesd'ap p t y p e " T ransfer Le a rning"的统计盈利能力我很高兴你回来了。基于时间的数据转移学习T'esededoctoratdela第574号学校，MathematiquesHadamard学校（EDMH）从老鼠身上取下的东西：数学应用程序研究单位：中心eBorelliReférent：ENSParis-Saclay你在伊维特河畔的吉夫，你在那里等着。2021年10月7日，由威廉·理查德陪审团组成Youn'esBennaniPr居民和说唱歌手教授，宇宙teSORBONNEPaRisN或RD（巴黎北部的计算机科学图书馆Gianluca Bontempi报告员教授，宇宙是李B雷从布鲁塞尔的（来自计算机科学系Jairo Cugliari检查员Confeerences，UniversiteLumiere2的主人（LaboratoireERIC）MicH'eleSebah考官INRIA研究总监（TAO团队）T'ese的方向Mathilde Mougeot主任巴黎-萨克雷ENS（博雷利中心）和ENSIIE教授Nicolas Vayatis导演巴黎-萨克雷ENS（博雷利中心）教授在上升的地方有一条铁路。法国电力研发部高级研究员谢谢你我首先要感谢我的董事MathildeMougeot和NicolasVayatis，感谢他们在这三年里的信任，感谢他们给了我在如此重要的问题上工作的机会。 我还要感谢GeorgesHb r ail，他在我加入法国电力的第一步就陪伴着我，并通过了他在工业部门的角色，总是给我很好的建议。 我还要感谢JU R Y的所有成员，感谢他们接受了我的支持。在这里，我要感谢Y oun'sBennani，他同意在JU R Y旁边工作，除了一个新的应用程序，Gianluca Bontempi，他也有一个应用程序，最后是Jairo Cuglia ri和Mic h e 'le Sebag作为一个xaminateur s。接下来，我要感谢EDF的整个S O AD团队，感谢他们度过了所有美好的时光。我当然有机会说这句话，但这是一个真正的乐趣去V与V或S。 除了乔治，我还要感谢G·H·伊莱恩，他在20世纪末和我一起去的。无论如何，我希望我们彼此相爱，彼此相爱，我希望我一直生活在钻石里!我看到他们感谢博雷利中心的成员，特别是参议员们。医生之间的帮助和我们的讨论使我们陷入了困境。 在par rticulie r，我感谢Antoine av，我很高兴与他合作，我祝你在剩下的时间里一切顺利。最后，我要感谢我的朋友和我的家人，他们在整个过程中为我提供了支持，并帮助我改变了身份证。 在par rticulie r，我感谢我的母亲，我的父亲和我的小兄弟，他们让我大安迪r，我陪着我在我生命中的所有步骤和continueront à le f air e。最后，我想感谢你，Qu y nhAnh，foryourl ov eandsuppo r t。它真的让你很容易度过艰难的时刻，一起进入下一章。我1内容物Resum e（法语）111导言191.1动机191.2手稿的组织212迁移学习背景252.1什么是迁移学习？......................................................................................................................................................262.2域适应理论282.2.1一般化边界292.2.2基于分歧的域适应312.2.3替代方法362.2.4摘要382.3同质迁移学习的382.3.1基于实例的域适应392.3.2基于特征的域适应422.3.3替代方法442.3.4摘要452.4从多个来源462.4.1多任务学习和领域概括472.4.2多源域适应492.5结论513用于非侵入式负载监控的3.1时间序列表示的5523.1.1框架553.1.2广义时间序列表示553.2深度时间序列表示583.2.1深度时间序列表示583.2.2关于深度时间序列表示3.3非侵入式负载监控3.3.1一般介绍613.3.2方法审查633.3.3数据集643.3.4问题措辞663.4不变电器识别的3.4.1全局和z归一化683.4.2电器消费的标准化703.4.372型3.5NILM数据集73的实验3.5.1预处理和方法743.5.277号房子3.5.3跨屋结果773.5.4跨数据集结果793.5.5讨论813.6结论824回归中的多源域适应854.1H的领域对抗性学习-发散874.1.1文献综述874.1.2H-发散回归中域对抗性适应的局限性4.2回归中域适应的假设-差异894.2.1假设-辨别力894.2.2具有假设-辨别力的域适应保证914.3最小化假设差异924.4扩展到多个源944.4.1具有多个来源的34.4.2算法974.5实验984.5.1综合数据994.5.2设备消耗估算1024.5.3同屋结果1044.5.4跨机构结果1054.5.5其他数据集的实验1084.6扩展至半监督适应1114.7结论1145基于协方差的迁移学习及其在多元时间序列中的应用5.1方法概述1165.2多元时间序列和协方差1185.3对称正定矩阵的黎曼几何与时间序列1205.3.1基础知识1205.3.2与时间一起工作系列1225.3.3使用SPD矩阵进行1235.4使用协方差信息的可空间1235.4.1框架1235.4.2学习子空间对齐域1245.4.3相关作品1275.4.4算法1285.4.5超参数选择1305.5数值结果1325.5.1模拟数据1325.5.2人类活动的识别1355.6第141章6结论和观点143A 神经网络147B 使用自动编码器对消费者消费进行聚类1514B.1数据展示151B.2方法152B.2.1卷积自动编码器152B.2.2比较方法153B.2.3154号放款记录B.3结果155C 实施159C.1 公共实现159C.2 其他实施160C.2.1提取的统计特征列表（第3章）160C.3 第3章的附加实验162C.4 关于第4章实施的详细信息1635图列表1NILM说明：从家庭的总消耗量中提取，目标是找到每个设备的消耗量。........................................................ 131.1非侵入式负载监控插图：从整个家庭的消耗中，目标是恢复每台设备的消耗量202.1迁移学习分类272.2使用线性分类器的H-发散图352.3线性回归函数H={h：x→wTx;w2≤1}和l2-损失的差异说明。源数据和目标数据生成为以-1和+1为中心的1D高斯分布，每个图（{1，1}，{0. 5、5和4）。.................................................................................362.4域对抗神经网络（图来自[72]）442.5有或没有多个来源的3.1欧几里得距离与动态时间扭曲563.2时间序列分类的593.3卷积自动编码器603.4非侵入式负载监控（NILM）3.5每个家庭的受监控设备示例：蓝色正方形表示设备已安装。白色正方形表示未被监控或与其他设备混合..。3.6电气数据库中一天的监控功耗示例（x轴以小时为单位，y轴以W为单位）663.7REFIT数据库中一天监测的消耗示例（x轴以小时为单位，y轴以W为单位;房屋编号与数据库中发生的技术问题相对应其他房屋）673.8来自Trace Base数据集的特征示例（x轴以分钟为单位，y轴以W为单位签名已被零填充到2小时的6963.9玩具示例693.10 洗衣机和洗衣机特征数据：对于每个图，主线是所有特征的中位数。其他区域代表分布的不同百分位数..703.11 水壶和微波信号数据：对于每个图，主线是所有信号的中值消耗。其他区域代表分布的不同百分位数......713.12 DenseNet：每个块由连续的卷积和跳过连接组成，并以一个瓶子结束颈部回旋723.13 建议的体系结构733.14 不同实验概述733.15 跨屋电器识别实验中电气数据的混淆矩阵783.16 跨屋电器识别实验中REFIT数据的混淆矩阵783.17 跨家庭设备识别实验中TraceBase数据的混淆矩阵3.18 电气数据实验803.19 电气数据→REFIT实验803.20 TSNE表示通过使用不同的nor- malizations学习DenseNet获得的潜在变量：第一列是REFIT数据上的潜在训练变量，第二列是看不见的房屋（测试）的潜在变量814.1热水器消耗估算：输入为总消耗（灰色曲线），变量为预测值是热水器的总消耗量（绿色区域）874.2H- 一维数据的894.3使用神经网络的对抗性假设差异最小化（AHDM）4.4对抗性多源假设离散度最小化（AMSHDM）类似于权重为α的单源。在每次迭代中，权重α都会更新。................................................................................. 974.5σk= 0的5个特征的单源Friedman实验的数据。2，σc= 0。2，µshift=0。5，σ偏移= 0。5. 从右到左：（x0，x1）;（x2，x3）;（x4;x0）。 每种颜色对应于一个源，目标为黑色。..............................................................................................................................................................994.6单源DA的训练曲线：如果不进行调整，目标损失会随着验证而增加损失继续减少。 DANN表现出与AHDM目标损失减少........................................................................................ 100相同的行为4.7X轴：使用AHDM（左）和DANN（右）提取的特征（在最终预测器之前）; Y轴：要预测的标签（y）1014.8弗里德曼多源实验：AMSHDM发现的α（蓝色）与Trueα（橙色）1014.9每个住宅的总消耗量和热水器消耗量的分布（比例分别与子图（a）和（b）中的比例相同）10374.10 我们实验中使用的时间卷积网络模型4.11 AMSHDM106发现的重量4.12 数据增强与适应：数据增强时，使用源1到4创建新的训练空间;适应时，训练数据移动到更接近测试数据。1074.13 从合成数据中1084.14 数字数据集的可视化1104.15 对抗性多源Y-判断力最小化（AMSYDM）1125.1所提出的方法的说明：将原始时间序列转换为协方差，并提取具有不同延迟的传感器之间的不变关系1175.2由合成协方差实验模型学习的参数W（abs（W）T表示这里和值被归一化为每个维度的总和为1，以提高可读性。5.3来自UCI每日活动数据集的时间序列示例：顶行代表走上楼梯，底行对应走下楼梯。在每个图中，蓝色是x维，橙色是x维。y维和绿色的z维。....................................................................................................................................................1355.4每个域的LEK-克莱门（橙色）和LEK-TL-克莱门（蓝色）的准确度（%）5.5通过智能手机实验的HAR模型学习的参数W（此处表示abs（W）T，每个维度的值归一化为1，以提高可读性）1375.6用传感器监测25个身体关节的位置。图取自[163]............................................................................................... 1375.7由简化NTU RGB-d数据集的模型学习的参数W（abs（W）T表示这里和值被归一化为每个维度的总和为1，以提高可读性。5.8原始数据（左）和降阶后对数-欧几里得内核的内核PCA表示（右）。每个颜色对应于一个域，并且类由两个标记140B.1CER智能计量数据：（红色）住宅消费平均值（绿色）中小企业消费平均值-（蓝色）其他消费值151B.2提出的方法：卷积自动编码器（CAE）152B.3左：每个集群的客户数;中心：每个集群的元素数;右：每个集群中的离群值数（如果元素的局部离群值因子高于95%分位数，则该元素为离群值）155B.4使用CAE+ K-Medoid方法156发现的每个簇的中心体B.5SME与使用（a）PCA表示（b）NMF表示（c）TSNE表示的住宅由CAE157获得的潜在变量8C.1每个方法在UCR非规范化数据集上的排名分布。 每个条形对应于一个方法。红色表示高等级，蓝色表示低等级。........................................................................................................................................................................1639表列表2.1审查方法总结..............................................................................................................................................................463.1改装住户摘要683.2标准化方法703.3用于在每个数据集中提取签名的设备。..................................................................................................................743.4两个实验中使用的DenseNet架构763.5两个实验中使用的FeatNet架构3.6EnsNormNet体系结构：密集块在合并之前3.7相同机构：REFIT数据集77上标准3.8相同机构：REFIT数据集77上标准3.9相同机构：REFIT数据集77上标准3.10 在电气设备上运行10次以上，标准差的不同方法的F1得分（%）数据集793.11 在REFIT数据集79上运行超过3.12 在TraceBase数据集794.1单源域自适应：不同移位量的SSE。....................................................................................................................1004.2ElectricData：每个有热水器的数据1024.3每种方法5次运行的平均MAE（kWh），以及相同试验的试验室。 在最后一栏，我们报告总热水器消耗量。................................................................................................................1054.4每种方法5次运行的平均MAE（kWh）和相同试验室的平均MAE（kWh），使用每种试验室进行训练1054.5每种方法5次运行的平均MAE（kWh），以及跨实验室的平均MAE（kWh）1064.6Amazon Multi-Domain数据集110中每个方法和域5次运行的平均MAE104.7数字数据集视觉适应的准确性1114.8不同目标样品尺寸的热水器消耗量的平均MAE（kWh）5.1合成协方差数据的度1335.2合成VAR系数的精度1345.3使用智能手机识别人类活动的平均准确度数据集1365.4NTU RBG-D数据集上某些5.5简化NTU RBG-D数据集上某些C.1易拉式功能列表161C.2每个非标准化UCR数据集的度16311Resume（法语）来自T&E的内容和内容这篇来自DoctoR at的文章提出了一种通过t r ans f e r t（t r ans f er lea r nin g）学习的方法，和时间的关系。这是一个很好的例子。R和E在CIFRE（个人协议）框架国家研究和技术机构（AN R T）的研究资助），并由其赞助由ElectrCite提供法国电力公司（EDF），电子电气的主要生产商和供应商在欧洲和共同框架内通过博雷利中心的学校没有r男性SuperieureParisSaclay. 法国电力在2020年雇佣了超过160，000名员工，并为法国的住宅和工业客户提供服务。 作为电力的生产商和供应商，法国电力必须始终提高其生产能力和对客户消费的了解。因此，时间信号分析是ED F工程师遇到的许多问题的核心，例如，用于生产中机器的安全性或客户消费的预测。 在这种情况下，机器学习算法已经证明，它们可以回答这些问题，但无论是大型学习数据库，还是昂贵的收集r，它们都不会停止。通过t r ans f e r t的学习包括几种方法，旨在利用e的mo或e的e 在这场比赛中，这场比赛提出了研究和重新定位我们的学习方法，通过trans f e r t为数据e es tempo r elle s，a v en vi e e应用于研究一个fo y er的消耗和生产中传感器对机器的监控科学和工业在我们周围，许多活动都涉及到时间的变化：石油的价格每毫秒变化一次，能源的消耗每秒变化一次，生命的传播也是一个时间的过程。对这些随时间变化的事物的分析是按时间顺序排列的事物分析的研究领域。 在ED F中，时间上的phnome nesva r iant出现在许多SC ena r io中。作为电子产品的生产商，法国电力面临的主要挑战之12为了安全和经济的原因，我们在这里生产和消费我们的东西。而法国电力则控制着比萨的电力生产，因此不控制电力的生产并且可以更好地了解客户的消费习惯对ED F还有其他几个好处。法国电力在2010年的竞争中脱颖而出，希望提供越来越适合客户的合同费率。从那时起，通过风力涡轮机或太阳能电池板自动生产的e lect r ici t e a fo y er变得越来越重要。 因此，了解家庭的用水量对于更好地组织网络是至关重要的，因为家庭的用水量数据传统上是通过单个计数器来跟踪的。历史计数器不能从远处读取，每年只能读取一技术员。自2015年以来，Linky的com m unicant计数器正在法国更换旧的计数器。这些计数器每30分钟收集一次电子消费量，并收集在客户同意的情况下，这些总结是EDFAV的。然而，即使有v与计数器链接y，由于处理和运输成本的原因，游泳者的消费量仍然有限。这是一个很好的例子。然后，他们将有一个30分钟的时间，他们将有一个30分钟的时间。游泳的消耗，根据每种设备的使用情况，一个游泳者的负荷曲线（elect r icit e的消耗量）的gr是负荷的su r v eillance non int rusi v e（NILM）的主题，如图1.1所示NILM可以提供客户消费的完整概述，并使法国电力能够根据客户的需求提供量身定制的处理方法但是NILM不会停止从1 Hz到几kHz的数据采样，这是一个众所周知的比Linky的30英里长的采样更好的采样。因此，NILM的数据收集是非常重要的：不仅必须每秒测量游泳池的整体消耗，而且还必须每秒测量游泳池中每个设备的消耗。 这意味着要为一个家庭收集数据，技术人员必须到家里在每个设备上安装传感器。 他是一个现实主义者，在一个大的规模上，没有一个为NILM收集的礼物包含超过100个游泳者。因此，我们将从NILM中得到m种方法，这些方法对于foye r的变化是有用的。在法国电力的生产系统中也出现了时间敏感性，因为每个系统都由传感器监控。在100个零件中，有几台机器可以检测零件和零件的故障并计划维护。 对于风 力涡轮机或太阳能电池板，生产的 愿景是e-fi 的 初始 愿 景。当在sys t'me don n'上学习视觉的mod e 'le时tr年fer tv到另一个系统e'me可以进入ra1由于潜在的变化而导致的每fr缺乏的下降d’e在这篇文章中，我们讨论了时间序列的transfert学习问题。13目的是了解适应环境变化的时间序列的能力、行为和逻辑的一般方法和范围虽然本研究中使用的elopp方法是为了解决EDF的问题，但我们的框架与其他类型的问题是一样的机器学习是机器学习的一个子领域，在20世纪初受到了很大的关注。传统机器学习的一个缺点是，用于学习mod的数据与应用mod的数据具有相同的d/s/r/b/s。学习由t r ans f e r t假设这个h ypot h e 'se不是v e r ifi e e，并建议知道如何安装这个pro b e m e。学习一个关于新环境的新事物并不总是可能的，例如，如果收集的礼物是c o u teus e。学习的目的是利用现有的数据或模式，以便更快地适应新的环境。与人类学习的一个类比是，一个guita r iste confi r me比一个完整的d'e b utant更快地学会弹钢琴。时间序列是存在于时间s中的度量的集合b。他们是一个小骗子。它们很难实现，因为它们是维度的子维度，受制于B R R和时间依赖性。许多统计学习方法都证明了这一点，但也证明了这一点。这就是为什么专门针对时间序列的方法还没有被开发出来的原因。 在g ner al中，时间序列b r utes是r ans f o rmesendenou v它们代表resentiation s，要么通过t r ans f o rmationexpe r te，如F或rier中的t r ans f o rme e[31]或子波中的t r ans f o rme e[119]，要么通过学习t r ans f o rmation.在本研究中，我们建议将tr ansf er t学习与时间序列分析相结合。图1：NILM说明：从家庭总消耗量中提取，目标是找到每个设备的消耗量