0巴黎东大学数学与信息技术科学博士学院0巴黎东大学博士论文 领域：信号与图像处理0BenjaminDubois提交0以获得0巴黎东大学博士0多任务电力负荷预测02019年12月2日公开支持，评审委员会成员：0Jean-François Delmas巴黎高等桥梁学校导师 VirginieDordonnat法国电力输电网指导 Mathilde MougeotENSIIE评审 GuillaumeObozinski瑞士数据科学中心导师 Jean-Michel Poggi巴黎南大学评审 PeterRichtárikKAUST评审20英文摘要0我们在本论文中研究了基于外部日历信息、天气预报和最近的内部电力需求值的变电站的次日电力负荷预测问题，这项工作是参与法国电力系统现代化的更广泛研究领域的一部分。新的生产方式的出现和电力使用的演变增强了对电力需求变化的预测的需求。作为电力部门的中心参与者，输电系统运营商（TSO）特别受到这些变化的影响。其决策过程依赖于准确预测生产和需求的空间分布能力。现代机器学习预测工具的出现，结合计算能力的提高和丰富的天气和电力数据集的收集，带来了新的机遇。0数据探索和关于电力负荷预测的动态文献为将更经典的模型扩展到聚合负荷的本地预测提供了基础。我们描述了一个通用的双变量线性模型，并比较了其在国家和本地层面的行为。这使我们能够确定变电站的相似之处和异质之处。在本地层面上，数据探索和实验围绕着为不同变电站独立学习的模型和负荷的耦合建模之间的二分法进行。特别地，我们提出了一种多任务方法来进行负荷预测，并对本地模型中遇到的共同结构进行了表征，我们打算利用这种结构来提高计算速度和泛化性能。0我们解决了与多任务方法相关的几个问题。即，从本地模型的耦合中可以期望什么？模型的哪些部分应该耦合以及如何耦合？如何评估多任务框架的演变和相关性？0我们研究了基于三种耦合假设的问题，其中一种是基于模型参数的聚类，一种是基于低秩约束的优化问题，我们对其进行了详细分析，还有一种是在不同聚合级别的预测之间的一致性。通过实证研究，我们证明了独立本地模型的参数数量是不必要的大，并且我们证实了在学习过程中共享参数和损失的利益。30法文摘要0我们研究了基于日历信息、天气预报和最近的时间序列值的聚合电力消耗的次日预测，这项工作属于更广泛的研究领域，参与了法国电力系统的现代化。随着可再生能源的普及和新的能源消耗模式的出现，提高本地预测质量的需求变得越来越迫切。作为电力系统的核心参与者，输电网管理者（GRT）负责供需平衡，并始终保持高压电网上电力流动的顺畅。因此，对于他们来说，消耗预测是一个核心研究问题。现代机器学习算法的发展、计算能力的增加以及大型电力和气象数据库的可用性为我们带来了新的机遇。0在对数据库进行探索性分析和关于电力消费预测的文献研究之后，我们考虑将用于预测的模型扩展和调整为更大的网格，如区域或整个国家。这使我们能够强调这些时间序列在交付点的更异质行为。所有实验都围绕着网络中不同节点之间独立学习的模型和耦合学习的模型之间的二分法展开。更具体地说，我们通过不同节点上的曲线之间的相似性来证明这种预测的多任务方法，旨在提高这些模型的学习速度和泛化能力。0我们将多任务方法分为三个问题。哪些模型组件是值得耦合的？这种耦合可以带来哪些改进？在电力消费预测中，如何评估多任务方法的有效性？0我们考虑了三种可能的预测模型耦合方法，分别基于模型系数的聚类、模型系数矩阵的低秩假设以及不同聚合级别的预测的一致性度量。从经验上看，我们展示了独立学习的模型中大量系数的情况是有条件的，并确认了在模型学习过程中耦合目标函数和模型参数的重要性。40致谢0我真诚地享受了过去的3年。在我的导师的持续支持和帮助下，我发现整个项目都很迷人。因此，我由衷感谢Guillaume，Jean-François，Vincent和Virginie在整个项目中的持续投入和耐心。0我很幸运能够加入IMAGINE团队，并在这个实验室中遇到许多深思熟虑和充满激情的研究人员，以及积极进取的学生。在École Nationale des Ponts etChaussées的职位也使我有机会与在CERMICS实验室工作的人们进行讨论，并且更广泛地从Coriolis大楼中存储的大量知识和好奇心中受益，这无疑为包括但不限于计算机科学和应用数学在内的不同研究领域之间的协同作用提供了机会。我确实需要感谢Brigitte和Isabelle对这两个研究团队提供的重要支持。0我有幸与RTE的数据科学团队合作，并在各种情境下与Clément，Jean，Lucie和Valentin交流。更一般地说，我感谢RTE的Direction Innovation etDonnées团队成员的热情欢迎。0我也很感激我在2019年访问瑞士数据科学中心的机会。我喜欢发现不同的研究环境，各种数据科学的应用，并感谢所有成员对我的帮助，他们的好奇心以及我与他们共度的时光。0最后但并非最不重要的，我受益于机器学习社区的活力，无论是在巴黎还是国外，通过各种活动，并对使这个研究社区充满活力的组织者和参与者表示感激。我也钦佩开源社区的默默工作，这对大多数研究项目，包括无可否认的这个项目，都是至关重要的。0谢谢Guillaume，Jean-François，Vincent和Virginie，这真是一次愉快而丰富的经历。1.1.1The French energy system . . . . . . . . . . . . . . . . . . . .151.1.2The French Transmission System Operator . . . . . . . . . . .201.1.3Architecture of the high-voltage network . . . . . . . . . . . .201.2Load Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . .231.2.1Day-ahead local load forecasting . . . . . . . . . . . . . . . . .231.2.2Industrial interest . . . . . . . . . . . . . . . . . . . . . . . . .231.2.3Original motivation of this work . . . . . . . . . . . . . . . . .242Data exploration and methodology262.1Raw load data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .272.2Raw meteorological data . . . . . . . . . . . . . . . . . . . . . . . . .282.3Exploratory analysis of the national load . . . . . . . . . . . . . . . .312.3.1Impacts of natural events. . . . . . . . . . . . . . . . . . . .312.3.2Impacts of the economic activity. . . . . . . . . . . . . . . .352.3.3Notable bivariate conditional expectations . . . . . . . . . . .392.4Exploratory analysis of the local loads. . . . . . . . . . . . . . . . .392.4.1The local load curves are more erratic . . . . . . . . . . . . . .402.4.2Existence of a common structure. . . . . . . . . . . . . . . .452.5Problem settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . .512.5.1Middle-term and short-term models . . . . . . . . . . . . . . .512.5.2Aggregation levels . . . . . . . . . . . . . . . . . . . . . . . . .512.6Related work - Load forecasting . . . . . . . . . . . . . . . . . . . . .562.7Numerical evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . .592.7.1Evaluation criteria for a single-task problem . . . . . . . . . .592.7.2Evaluation criteria for the multi-task setting . . . . . . . . . .612.7.3Experimental process . . . . . . . . . . . . . . . . . . . . . . .622.8Available equipment and ambitions . . . . . . . . . . . . . . . . . . .632.9Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .642.9.1Operational models . . . . . . . . . . . . . . . . . . . . . . . .642.9.2Tree-based models. . . . . . . . . . . . . . . . . . . . . . . .652.9.3Neural networks . . . . . . . . . . . . . . . . . . . . . . . . . .662.9.4Related work - Generalized additive models. . . . . . . . . .6650目录01 引言 1501.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Chapter 03Independent models703.1Feature engineering . . . . . . . . . . . . . . . . . . . . . . . . . . . .703.1.1Univariate splines . . . . . . . . . . . . . . . . . . . . . . . . .713.1.2Interactions . . . . . . . . . . . . . . . . . . . . . . . . . . . .753.2Additive model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .763.3Formulation of the optimization problem . . . . . . . . . . . . . . . .773.4Application to the load forecasting problem. . . . . . . . . . . . . .793.5Experiments with independent models. . . . . . . . . . . . . . . . .833.5.1Numerical performances . . . . . . . . . . . . . . . . . . . . .833.5.2Comparison and validation . . . . . . . . . . . . . . . . . . . .883.5.3Study of the national univariate effects . . . . . . . . . . . . .893.5.4Study of the national bivariate effects . . . . . . . . . . . . . .963.5.5Study of the local univariate effects . . . . . . . . . . . . . . . 1013.5.6Study of the local bivariate effects . . . . . . . . . . . . . . . . 1073.6Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1083.6.1Comments on results . . . . . . . . . . . . . . . . . . . . . . . 1083.6.2Main differences with existing models . . . . . . . . . . . . . . 1093.6.3Selecting the inputs for the national model . . . . . . . . . . . 1093.6.4Tuning the national model . . . . . . . . . . . . . . . . . . . . 1133.6.5Selecting the inputs for the local models. . . . . . . . . . . . 1143.6.6Tuning the local models. . . . . . . . . . . . . . . . . . . . . 1183.7Pending questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1193.7.1Important residuals on Mondays . . . . . . . . . . . . . . . . . 1193.7.2Different regularizations for the local models . . . . . . . . . . 1203.7.3Possibility of additional information . . . . . . . . . . . . . . . 1203.7.4Dataset shift. . . . . . . . . . . . . . . . . . . . . . . . . . . 1243.7.5Choice of the numerical criteria . . . . . . . . . . . . . . . . . 1273.8Conclusion of Chapter 3 . . . . . . . . . . . . . . . . . . . . . . . . . 1274Multi-task setting1284.1Structure of the independent models. . . . . . . . . . . . . . . . . . 1294.1.1Similarities between models. . . . . . . . . . . . . . . . . . . 1294.1.2Commonly structured errors . . . . . . . . . . . . . . . . . . . 1294.2Related work - Multi-task learning. . . . . . . . . . . . . . . . . . . 1344.3Framework for multi-task learning . . . . . . . . . . . . . . . . . . . . 1374.4Clustering of the substations . . . . . . . . . . . . . . . . . . . . . . . 1404.4.1Formulation of the hard clustering problem . . . . . . . . . . . 1414.4.2Formulation of the soft clustering problem . . . . . . . . . . . 1424.4.3Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1434.5Low-rank models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1444.5.1The low-rank constraint. . . . . . . . . . . . . . . . . . . . . 1454.5.2Joint variable selection . . . . . . . . . . . . . . . . . . . . . . 1464.5.3Partially low-rank models. . . . . . . . . . . . . . . . . . . . 1464.5.4Experiments with partially low-rank models . . . . . . . . . . 1474.6Sum consistent local models . . . . . . . . . . . . . . . . . . . . . . . 1474.6.1Multi-objective loss . . . . . . . . . . . . . . . . . . . . . . . . 1484.6.2Motivation for the multi-level consistency . . . . . . . . . . . . 1506Chapter 04.6.3Results with the sum consistent loss . . . . . . . . . . . . . . . 1504.7Conclusion of Chapter 4 . . . . . . . . . . . . . . . . . . . . . . . . . 1545Fast algorithms for Sparse Reduced Rank Regression1555.1Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1555.2Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1575.3Reformulation and algorithm . . . . . . . . . . . . . . . . . . . . . . . 1585.3.1New formulation for RRR/SRRR with one thin matrix U . . . 1585.3.2Optima of the classical RRR formulation . . . . . . . . . . . . 1595.3.3Algorithms and complexity . . . . . . . . . . . . . . . . . . . . 1595.4Global convergence results . . . . . . . . . . . . . . . . . . . . . . . . 1615.4.1Convergence to a critical point for RRR. . . . . . . . . . . . 1615.4.2Convergence to a critical point for SRRR . . . . . . . . . . . . 1615.5Local convergence analysis . . . . . . . . . . . . . . . . . . . . . . . . 1625.5.1A key reparameterization for RRR. . . . . . . . . . . . . . . 1625.5.2Local strong convexity on cones . . . . . . . . . . . . . . . . . 1635.5.3P-Ł inequalities and proofs for linear convergence rates . . . . 1655.5.4Proving local linear convergence . . . . . . . . . . . . . . . . . 1665.6Experiments on RRR and SRRR. . . . . . . . . . . . . . . . . . . . 1676Conclusion of the manuscript169A Notations172B Data cleansing procedure174B.1 Detection of anomalies . . . . . . . . . . . . . . . . . . . . . . . . . . 174B.2 Correction of anomalous values. . . . . . . . . . . . . . . . . . . . . 176C The design matrices177C.1 Restriction to [0, 1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177C.2 Centering and normalization . . . . . . . . . . . . . . . . . . . . . . . 178D Implementation of GAM benchmarks179E Implementation details181F Additional Figures and Tables183F.1Additional Figures and Tables for Chapter 2 . . . . . . . . . . . . . . 183F.1.1Weather information . . . . . . . . . . . . . . . . . . . . . . . 183F.1.2Conditional distributions of the national load. . . . . . . . . 185F.1.3Notable bivariate conditional expectations . . . . . . . . . . . 188F.1.4Erratic local loads. . . . . . . . . . . . . . . . . . . . . . . . 192F.2Additional Figures and Tables for Chapter 3 . . . . . . . . . . . . . . 198F.2.1Parametrization for the substations . . . . . . . . . . . . . . . 198F.2.2Estimated univariate effects for the national model. . . . . . 200F.2.3Estimated bivariate effects for the national model . . . . . . . 206F.2.4Quantiles of the local univariate effects . . . . . . . . . . . . . 212F.2.5Evolution of the regularized univariate effects. . . . . . . . . 220F.2.6Regularization of the national model. . . . . . . . . . . . . . 2217Chapter 0F.2.7Regularization of the local models . . . . . . . . . . . . . . . . 227F.2.8Analysis of the temperatures . . . . . . . . . . . . . . . . . . . 230F.3Additional Figures and Tables for Chapter 4 . . . . . . . . . . . . . . 232G Appendix to Chapter 5234G.1 Summary of results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234G.2 Additional definitions and classical results. . . . . . . . . . . . . . . 235G.2.1Strong convexity. . . . . . . . . . . . . . . . . . . . . . . . . 235G.2.2Smoothness and Lipschitz gradients . . . . . . . . . . . . . . . 235G.2.3Sublevel sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235G.2.4Subdifferentials, graph continuity and the KŁ property . . . . 236G.2.5Critical and KW-stationary points. . . . . . . . . . . . . . . 237G.3 The Orthogonal Procrustes Problem. . . . . . . . . . . . . . . . . . 237G.4 The Forward-Backward Descent Algorithm 1 . . . . . . . . . . . . . . 238G.4.1Subgradients for the descent direction . . . . . . . . . . . . . . 239G.4.2The proximal operator of the group-Lasso norm . . . . . . . . 241G.5 The Line Search Procedure in Algorithm 2 . . . . . . . . . . . . . . . 242G.5.1A lower-bound for the decrease in terms of function values . . 242G.5.2A lower bound on the step size with the Line Search Procedure242G.6 Study of the global convergence . . . . . . . . . . . . . . . . . . . . . 245G.6.1Global convergence to a critical point with Algorithm 1 for RRR246G.6.2Global convergence to critical points with Algorithm 1 for SRRR248G.7 Proofs for section 5.5.1 . . . . . . . . . . . . . . . . . . . . . . . . . . 252G.7.1Proof of Equation (5.7) . . . . . . . . . . . . . . . . . . . . . . 252G.7.2Proof of Lemma 9 . . . . . . . . . . . . . . . . . . . . . . . . . 253G.7.3Proof of Lemma 10 . . . . . . . . . . . . . . . . . . . . . . . . 254G.8 Proofs for Section 5.5.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 256G.8.1Proof of Lemma 11 . . . . . . . . . . . . . . . . . . . . . . . . 256G.8.2Proof of Theorem 12 . . . . . . . . . . . . . . . . . . . . . . . 257G.8.3Proof of Corollary 13 . . . . . . . . . . . . . . . . . . . . . . . 260G.8.4Proof of Corollary 14 . . . . . . . . . . . . . . . . . . . . . . . 262G.9 Proofs for Section 5.5.3 . . . . . . . . . . . . . . . . . . . . . . . . . . 262G.9.1Proof of Theorem 15 . . . . . . . . . . . . . . . . . . . . . . . 262G.10 Proofs for Section 5.5.4 . . . . . . . . . . . . . . . . . . . . . . . . . . 263G.10.1 Proof of Corollary 16. . . . . . . . . . . . . . . . . . . . . . 263G.10.2 Proof of Corollary 17 . . . . . . . . . . . . . . . . . . . . . . . 264G.10.3 Proof of Corollary 18 . . . . . . . . . . . . . . . . . . . . . . . 267G.11 Supplementary Results and Proofs. . . . . . . . . . . . . . . . . . . 267G.11.1 Proof of Lemma 52 . . . . . . . . . . . . . . . . . . . . . . . . 267G.11.2 Proof of Lemma 53 . . . . . . . . . . . . . . . . . . . . . . . . 268G.11.3 Proof of Lemma 54 . . . . . . . . . . . . . . . . . . . . . . . . 269G.11.4 Proof of Lemma 57 . . . . . . . . . . . . . . . . . . . . . . . . 269G.11.5 Proof of Lemma 58 . . . . . . . . . . . . . . . . . . . . . . . . 270G.11.6 Proof of Theorem 61 . . . . . . . . . . . . . . . . . . . . . . . 271G.12 KŁ with exponent 12. . . . . . . . . . . . . . . . . . . . . . . . . . . 276G.12.1 KŁ-1 on cones for (RRR / SRRR). . . . . . . . . . . . . . . 276to (t-strong proximal PŁ). . . . . 27880G.12.2 指数为1的KŁG.13 Additional details and results on the experiments. . . . . . . . . . . 28190第0章0G.13.1 Park等人的算法[2016] . . . . . . . . . . . . . . . . . . 281 G.13.2相关系数ρ的不同值 . . . . . . . . . . . . . . . . . . . . 281 G.13.3 不同稀疏情况 . . . . . . .. . . . . . . . . . . . . . . . . . . . 282List of Figures1.2Spatial repartition of consumption and production sites. . . . . . .191.4High and lower voltages networks . . . . . . . . . . . . . . . . . . . .222.2Voronoi diagram of the 32 weather stations. . . . . . . . . . . . . .292.3Box plots of the temperatures . . . . . . . . . . . . . . . . . . . . . .302.4Box plots of the aggregated load. . . . . . . . . . . . . . . . . . . .322.5Average load at a given temperature value . . . . . . . . . . . . . . .332.6Load for different temperatures in the North/South . . . . . . . . . .342.7Load conditioned on the cloud cover in
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
