0HAL Id: tel-035917200https://theses.hal.science/tel-035917200提交日期：2022年2月28日0HAL是一个多学科开放获取档案，用于存储和传播科学研究文档，无论其是否发表。这些文档可能来自法国或国外的教育和研究机构，或来自公共或私人研究中心。0HAL多学科开放获取档案，旨在存储和传播研究级科学文献，无论其是否发表，这些文献来自法国或国外的教育和研究机构，公共或私人实验室。0动力系统中的表示学习和深度生成建模0Jean-Yves Franceschi0引用此版本：0Jean-Yves Franceschi. 动力系统中的表示学习和深度生成建模. 机器学习[cs.LG]. Sorbonne Université, 2022.英文. �NNT : 2022SORUS014�. �tel- 03591720�0Sorbonne Université — 21 rue de l’École de Médecine, 75006 Paris ÉcoleDoctorale Informatique, Télécommunications et Electronique de Paris0Sorbonne Université博士学位论文0在动力系统中的表示学习和深度生成建模0动力系统中的表示学习和深度生成建模0Jean-Yves Franceschi02022年2月14日，我在SorbonneUniversité公开答辩，以获得计算机博士学位，评审委员会成员如下：0Xavier Alameda-Pineda先生评审 Alexandre Gramfort先生评审 CatherineAchard女士审查 Camille Couprie女士审查 Sylvain Lamprier博士导师Patrick Gallinari博士导师0ii0Jean-Yves Franceschi. 在动力系统中的表示学习和深度生成建模. ©2022.0本文档的后续部分根据cb Creative Commons Attribution 4.0International (CC BY4.0)许可证提供：https://creativecommons.org/licenses/by/4.0/。0献给我的父母。vii0简历0深度学习的最新发展首先在监督学习中取得了各种成功，例如图像分类，但也源于它在无监督学习中取得的许多科学进展，特别是在表示学习和生成模型方面。这些突破有助于自主系统的不断发展，因为它们使其能够自我监督地理解环境。然而，这些进展大多是在文本和图像数据上取得的，对其随时间的演变的研究较少，使其具有一定的复杂性。因此，尽管在这个方向上进行了早期和持续的研究努力，但时间数据仍然是无监督学习的一个挑战，特别是对于复杂的时空数据，如视频数据。鉴于它们对于在不断变化的环境中进行自动化驾驶等多个任务的日益重要性，越来越多的工作关注这个问题。在本论文中，我们遵循这一趋势，研究和改进了深度神经网络中时间性和动力系统的几个方面，以实现无监督的表示学习和生成模型。在我们的工作的第一部分中，我们提出了一种通用的无监督时间序列表示学习方法，考虑了这些技术的实际效率和灵活性需求。然后，我们特别关注了时空结构化序列的学习，包括视频和物理现象的学习。我们展示了发现相关且可分离的表示与在这些数据上构建高性能预测模型之间的关联。通过这种方式，我们强调了微分方程对于适应这些时间序列的潜在空间的建模和嵌入的重要性。最后，在第三部分中，我们通过考虑训练过程中涉及的网络的时间演化，从动力系统的角度更全面地分析了最常用的生成对抗网络模型。通过将其动态写成无限宽度神经网络理论的微分方程形式，我们得出了对这种生成模型的更好理论和实证理解。AbstractThe recent rise of deep learning, first supported by various supervised learning suc-cesses on e.g. image classification, has also been motivated by numerous scientificbreakthroughs in unsupervised learning, particularly regarding representation learningand generative modeling. These advances have participated in the development ofautonomous, knowledgeable and self-supervised systems, since they contribute to theability of these systems to understand their environment. However, most of theseachievements have been obtained on image or text data, whose evolution through timeis less considered and confers to the considered tasks a new layer of complexity. That iswhy, despite early and steady research in this direction, temporal data, and especiallycomplex spatiotemporal data like videos, remain challenging on unsupervised tasks forcurrent methods. Given their importance for autonomous systems such as self-drivingvehicles to adapt in a constantly evolving environment, these challenges have beenactively investigated in a growing body of work.In this thesis, we follow this line of work and simultaneously investigate and improveseveral underexplored aspects of temporality and dynamical systems in deep unsuper-vised representation learning and generative modeling. In the first part of this work, wepresent a general-purpose deep unsupervised representation learning method for timeseries tackling scalability and adaptivity issues arising in practical applications. Wethen further study in a second part representation learning for sequences by focusingon structured and stochastic spatiotemporal data: videos and physical phenomena. Weshow in this context that performant temporal generative prediction models help touncover meaningful and disentangled representations, and conversely. We highlightto this end the crucial role of differential equations in the successful modeling andembedding of these natural sequences within sequential generative models. Finally, wemore broadly analyze in a third part a popular class of generative models, generativeadversarial networks, under the scope of dynamical systems. We study the evolution ofthe involved neural networks with respect to their training time by describing it with adifferential equation thanks to the theory of infinite-width neural networks, allowing usto gain novel theoretical and empirical insights on this generative model.ixRemerciementsArrivé au terme de ce doctorat, je réalise que nombreux sont ceux qui m’ont accompagné,soutenu et aidé pendant cette période. Il m’est impossible de tous les nommer ici, maisje tiens à les assurer de ma plus grande reconnaissance.Je remercie tout d’abord les membres du jury pour avoir accepté d’évaluer montravail : Catherine Achard, Camille Couprie, et en particulier Xavier Alameda-Pineda etAlexandre Gramfort pour leurs rapports ayant dû être rédigés dans des délais restreints.Je tiens à exprimer toute ma reconnaissance à mes encadrants et directeurs dethèse Sylvain et Patrick : j’ai tant appris à leur côté, et j’ai particulièrement appréciédiscuter avec et travailler auprès d’eux ; merci à eux de m’avoir offert cette magnifiqueopportunité et guidé pendant cette période tout en me laissant une grande libertéde choix sur mes travaux. J’ai également bénéficié de l’aide précieuse de tous mesformidables coauteurs qui m’ont beaucoup apporté et sans qui cette thèse serait bienplus courte, avec, dans l’ordre chronologique, Aymeric, Martin, Edouard, Mickaël,Jérémie, Emmanuel et Ibrahim. Merci à Nadine et Christophe, dont le soutien sansfaille nous a permis de travailler sereinement.Au-delà de ces collaborations directes, les nombreux membres permanents et non-permanents de l’équipe MLIA me furent tous d’une aide précieuse.Je remerciechaleureusement tous ceux que j’ai pu côtoyer pendant ces 42 mois : vous avez étécomme une deuxième famille pendant ce temps précieux, en particulier pendant lespériodes de restrictions sanitaires où les autres liens sociaux furent réduits à portioncongrue. Merci à ceux avec qui j’ai partagé mon bureau, des repas, des soirées et degrandes parties de babyfoot !Je suis conscient que ce travail arrive au terme de plusieurs années d’études pendantlesquelles j’ai bénéficié d’un enseignement et accompagnement de grande qualité, que cesoit jusqu’au baccalauréat, en CPGE ou à l’ENS de Lyon. J’ai une pensée particulièrepour Marc de Falco, Luc Albert et Omar Fawzi qui m’ont donné ce goût de l’informatiqueet de la recherche ; merci aussi à mes camarades de promotion, auprès desquels j’aibeaucoup appris.J’ai également été merveilleusement accompagné par mes amis hors du travail, dont lacompagnie fut d’un grand soutien quel que soit le contexte. Sans pouvoir être exhaustif,je pense à Jean-Baptiste, Rémi, Daniel, Anthony, Pierre-Jean, Fabrice, Clément, Lucie,Arthur, Rémy, Maverick, Raphaël, Andreas, Bojana, Prakhar, Aymeric.Enfin, je dois exprimer ma plus profonde gratitude à ma famille, sans qui je n’aurairien pu faire. Là encore sans exhaustivité, merci à Laurent, Hélène, Emilie, Marie-Jeanne, Robert, Huguette, Clément, Quentin. Merci à ma grand-mère. Et merci à mesparents, qui ont fait ce que je suis et à qui je dois tout.xiContentsList of FiguresxixList of TablesxxiList of AcronymsxxiiiI.Motivation11. Introduction51.1. Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51.2. Subject and Contributions of this Thesis . . . . . . . . . . . . . . . . . .71.2.1.General-Purpose Unsupervised Representation Learning for TimeSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .81.2.2.Dynamical Systems and Representation Learning for ComplexSpatiotemporal Data . . . . . . . . . . . . . . . . . . . . . . . . .81.2.3.Study of Generative Adversarial Networks via their TrainingDynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .91.2.4.Outline of this Thesis. . . . . . . . . . . . . . . . . . . . . . . .102. Background and Related Work112.1. Neural Architecture for Sequence Modeling. . . . . . . . . . . . . . . .112.1.1.Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . .112.1.1.1.Principle. . . . . . . . . . . . . . . . . . . . . . . . . .112.1.1.2.Refinements. . . . . . . . . . . . . . . . . . . . . . . .122.1.2.Neural Differential Equations . . . . . . . . . . . . . . . . . . . .142.1.2.1.ODEs and PDEs . . . . . . . . . . . . . . . . . . . . . .142.1.2.2.Differential Equations and Neural Networks . . . . . . .162.1.2.3.ODEs and Neural Network Optimization . . . . . . . .182.1.3.Alternatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .192.1.3.1.Convolutional Neural Networks . . . . . . . . . . . . . .192.1.3.2.Transformers . . . . . . . . . . . . . . . . . . . . . . . .192.2. Unsupervised Representation Learning for Temporal Data . . . . . . . .202.2.1.Contrastive Learning . . . . . . . . . . . . . . . . . . . . . . . . .202.2.2.Learning from Autoencoding and Prediction . . . . . . . . . . . .212.2.2.1.Learning Methods . . . . . . . . . . . . . . . . . . . . .222.2.2.2.Disentangled Representations . . . . . . . . . . . . . . .22xiiiContents2.3. Deep Generative Modeling . . . . . . . . . . . . . . . . . . . . . . . . . .232.3.1.Families of Deep Generative Models. . . . . . . . . . . . . . . .242.3.1.1.Variational Autoencoders . . . . . . . . . . . . . . . . .252.3.1.2.Generative Adversarial Networks . . . . . . . . . . . . .262.3.1.3.Other Categories . . . . . . . . . . . . . . . . . . . . . .282.3.2.Sequential Deep Generative Models . . . . . . . . . . . . . . . . .292.3.2.1.Temporally Aware Training Objectives. . . . . . . . .292.3.2.2.Stochastic and Deterministic Models for Sequence-to-Sequence Tasks . . . . . . . . . . . . . . . . . . . . . . .302.3.2.3.Latent Generative Temporal Structure . . . . . . . . . .31II.Time Series Representation Learning353. Unsupervised Scalable Representation Learning for Time Series393.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .393.2. Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .403.3. Unsupervised Training . . . . . . . . . . . . . . . . . . . . . . . . . . . .413.4. Encoder Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . .433.5. Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . .463.5.1.Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . .463.5.1.1.Univariate Time Series. . . . . . . . . . . . . . . . . .473.5.1.2.Multivariate Time Series. . . . . . . . . . . . . . . . .523.5.2.Evaluation on Long Time Series. . . . . . . . . . . . . . . . . .533.6. Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .543.6.1.Behavior of the Learned Representations Throughout Training.543.6.2.Influence of K. . . . . . . . . . . . . . . . . . . . . . . . . . . .553.6.3.Discussion of the Choice of Encoder. . . . . . . . . . . . . . . .563.6.4.Reproducibility . . . . . . . . . . . . . . . . . . . . . . . . . . . .573.7. Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57III. State-Space Predictive Models for Spatiotemporal Data594. Stochastic Latent Residual Video Prediction634.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .634.2. Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .644.3. Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .664.3.1.Latent Residual Dynamic Model . . . . . . . . . . . . . . . . . .664.3.2.Content Variable . . . . . . . . . . . . . . . . . . . . . . . . . . .694.3.3.Variational Inference and Architecture . . . . . . . . . . . . . . .694.4. Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .714.4.1.Evaluation and Comparisons. . . . . . . . . . . . . . . . . . . .714.4.2.Datasets and Prediction Results. . . . . . . . . . . . . . . . . .724.4.2.1.Stochastic Moving MNIST. . . . . . . . . . . . . . . .72xivContents4.4.2.2.KTH Action Dataset. . . . . . . . . . . . . . . . . . .744.4.2.3.Human3.6M. . . . . . . . . . . . . . . . . . . . . . . .774.4.2.4.BAIR Robot Pushing Dataset. . . . . . . . . . . . . .784.4.3.Illustration of Residual, State-Space and Latent Properties. . .784.4.3.1.Generation at Varying Frame Rate . . . . . . . . . . . .784.4.3.2.Disentangling Dynamics and Content . . . . . . . . . .804.4.3.3.Interpolation of Dynamics. . . . . . . . . . . . . . . .804.4.3.4.Autoregressivity and Impact of the Encoder and De-coder Architecture.. . . . . . . . . . . . . . . . . . . .814.5. Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .825. PDE-Driven Spatiotemporal Disentanglement835.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .835.2. Background: Separation of Variables . . . . . . . . . . . . . . . . . . . .845.2.1.Simple Case Study . . . . . . . . . . . . . . . . . . . . . . . . . .845.2.2.Functional Separation of Variables . . . . . . . . . . . . . . . . .855.3. Proposed Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .865.3.1.Problem Formulation Through Separation of Variables . . . . . .865.3.2.Fundamental Limits and Relaxation . . . . . . . . . . . . . . . .875.3.3.Temporal ODEs. . . . . . . . . . . . . . . . . . . . . . . . . . .895.3.4.Spatiotemporal Disentanglement . . . . . . . . . . . . . . . . . .895.3.5.Loss Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . .905.3.6.Discussion of Differences with Chapter 4’s Model . . . . . . . . .915.4. Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .915.4.1.Physical Datasets: Wave Equation and Sea Surface Temperature935.4.2.A Synthetic Video Dataset: Moving MNIST . . . . . . . . . . . .945.4.3.A Multi-View Dataset: 3D Warehouse Chairs . . . . . . . . . . .965.4.4.A Crowd Flow Dataset: TaxiBJ. . . . . . . . . . . . . . . . . .975.5. Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98IV. Analysis of GANs’ Training Dynamics996. A Neural Tangent Kernel Perspective of GANs1036.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1036.2. Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1046.3. Limits of Previous Studies . . . . . . . . . . . . . . . . . . . . . . . . .1056.3.1.Generative Adversarial Networks . . . . . . . . . . . . . . . . .1056.3.2.On the Necessity of Modeling Discriminator Parameterization .1066.4. NTK Analysis of GANs. . . . . . . . . . . . . . . . . . . . . . . . . .1076.4.1.Modeling Inductive Biases of the Discriminator in the Infinite-Width Limit. . . . . . . . . . . . . . . . . . . . . . . . . . . .1076.4.2.Existence, Uniqueness and Characterization of the Discriminator 1096.4.3.Differentiability of the Discriminator and its NTK. . . . . . .1106.4.4.Dynamics of the Generated Distribution . . . . . . . . . . . . .111xvContents6.5. Fined-Grained Study for Specific Losses . . . . . . . . . . . . . . . . .1126.5.1.The IPM as an NTK MMD Minimizer . . . . . . . . . . . . . .1126.5.2.LSGAN, Convergence, and Emergence of New Divergences. .1136.6. Empirical Study with GAN(TK)2 . . . . . . . . . . . . . . . . . . . . .1146.6.1.Adequacy for Fixed Distributions . . . . . . . . . . . . . . . . .1166.6.2.Convergence of Generated Distribution. . . . . . . . . . . . .1166.6.3.Visualizing the Gradient F
我的内容管理
展开
