流体动画中的数据驱动模拟方法综述

引文：陈倩，王悦，王辉，杨旭波。流体动画中的数据驱动模拟：综述。虚拟现实智能硬件，2021，3（2）：87-104DOI：10.1016/j.vrih.2021.02.002虚拟现实智能硬件2021年12月3日第2·回顾·流体动画中的数据驱动模拟：综述陈启安，王宇，王辉，杨旭波*上海交通大学软件学院，上海200240*通讯作者，yangxubo@sjtu.edu.cn投稿时间：2020年12月10日修订日期：2021年2月1日接受日期：2021年2月2日国家自然科学基金重点研究发展计划（2018 YFB 1004902）;国家自然科学基金（61772329，61373085）。摘要流体模拟领域发展迅速，数据驱动方法为流体模拟提供了许多框架和技术。本文综述了近年来计算机图形学中用于流体模拟的数据驱动方法。首先，我们提供了一个简单的介绍基于物理的流体模拟方法的基础上，他们的空间离散化，包括拉格朗日，欧拉，和混合方法。然后分析了这些基础结构的特征及其与数据驱动方法的内在联系。随后，我们回顾了与广泛的应用有关的研究，包括数据驱动的求解器，细节增强，动画合成，流体控制和微分模拟。最后，我们讨论了一些相关的问题和潜在的方向，在数据驱动的流体模拟。结果表明，在相同参数下，流体模拟与数据驱动相结合的方法与传统方法相比，具有模拟效率高、细节丰富、图案风格多样等优点。可见，数据驱动的流体模拟是可行的，具有广阔的前景。关键词流体模拟;数据驱动;机器学习1引言流体模拟在计算机图形学中有着广泛的应用。代替离散模型，包括粒子Bhatnagar-Gross-Krook[1]，粒子Fokker-Planck[2]，直接模拟Monte Carlo-计算流体动力学（CFD）混合[3]，多尺度粒子[3]和粗粒度粒子模拟方法[4]，我们主要关注由着名的Navier-Stokes（N-S）方程控制的连续模型，该方程是计算机图形学中的主流模型。为了简化物理模型，通常在水和烟动画的不可压缩性假设下强制执行恒定密度场的质量守恒。此外，其他物理力，如表面张力，粘度和涡量，产生有趣的现象，流体模拟。在基于物理的模拟中使用的底层离散化范围很广，从拉格朗日粒子和网格到欧拉网格。通过将连续流体映射到这些结构上，流体被2096-5796/©版权所有2021北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2021年12月3日第2通过离散的自由度来跟踪或观察，其中求解这些偏微分方程（PDE）以施加物理力。为了实现更好的稳定性和准确性，这些约束通常被隐式地求解，从而导致使用数值求解器来求解大型线性系统。高分辨率和高性能之间的矛盾是物理模拟中的一个关键问题。提高性能的典型方法包括自适应性[5- 7]，模型简化[8]和使用加速求解器[9，10]。其他方法关注小尺度细节，包括湍流合成[11]、涡面[12]、湍流粒子[13]和多尺度求解器[14]。在这些方法中，提出的解决方案的白盒建模的问题的基础上，因此，它们的适用性可能是有限的。近年来，运动控制、艺术风格化和动画合成等新兴需求对仿真框架提出了更高的要求。在这些应用中，设计复杂的方法来满足约束或显式定义约束是具有挑战性的。由于过去十年的快速发展，数据驱动方法变得更加有效，因此已广泛用于计算机视觉（CV）和自然语言处理任务。数据驱动的方法，特别是机器学习（ML）方法，依赖于大量的历史数据来构建数学模型;它基于从训练中自动学习的知识来生成预测。Treuille等人首先将数据驱动方法引入流体模拟，使用降维方法来加速复杂的流体动力学系统[15]。其他数据驱动模型，包括状态图[16]，回归森林[17]和神经网络[18 - 21]，已被应用于预测流体演化而无需数值模拟。基于CV概念，数据驱动方法为与求解器加速和细节增强相关的研究提供了新的工具，包括自动编码器[19]，长短期记忆（LSTM）[22]，生成对抗网络（GAN）[23]和连续卷积[24]。此外，它们还促进了流体模拟的广泛应用，例如流体式传输[25，26]，流体重建[27]，游戏控制[28]和湍流建模[29]。与以前总结在基于物理的建模中使用数据驱动方法的研究[30，31]相比，本调查主要关注 在计算机图形学中的流体模拟中ML技术的集成。在这次调查中，我们简要介绍了基于物理的流体动画模拟在第2节。使用传统方法的三组模拟结果如图1所示。第3节描述了欧拉、拉格朗日和混合视点中使用的数据驱动方法，以及与空间离散化相关的问题。在第4节中回顾了几个主流应用，包括数据驱动求解器、细节增强、动画合成、流体控制和可微模拟。第5节讨论了数据驱动流体模拟中的典型技术问题。图1使用基于物理方法的流体模拟结果。左图：烟雾与欧拉方法中的球体相互作用[32]。中：拉格朗日方法中液体与柱碰撞[33]。右图：水车以混合方式运输水[34]。2基于物理的流体模拟方法不可压缩流体由众所周知的Navier-Stokes方程控制，该方程描述流体88QiannCHENetall：Data-drivenSimulationinfluidsanimation：Asurvey在模拟过程中在连续场中的演化。方程（1）表示不可压缩的N-S方程.Du=u-p+f，Dtρ∇ ⋅u = 0（一）其中u表示速度的矢量场，ψ表示粘性系数，ρ表示密度，p表示压力的标量场，f表示体积力。第一个方程描述了由粘性、压力和体积力引起的动量变化。第二个方程对速度场施加无发散条件，以实现不可压缩性。可压缩变量可以根据质量守恒推导出[35]。 在计算机图形学中，N-S方程通过从微分观点离散连续体来求解，这将在下面讨论。2.1欧拉法在欧拉方法中，流体是在静态点观察到的。它首先由Foster等人引入到图形中。[36]，Stam[37]通过引入半拉格朗日平流步骤进一步提高了其稳定性。 在Foster和Stam的模型中，流体在静态统一网格上离散。物理属性存储在标记和单元（MAC）网格的网格节点和网格面上[38]。随后，基于中心差分格式在相邻单元上建立差分扩展。对Navier-Stokes方程中的时间积分进行了分离和逐步求解。具体而言，投影项作为压力场的全局泊松方程隐式求解，并且它通常是整个仿真管道的瓶颈。提出了一组自适应策略，包括高单元[39]，远场网格[40]，八叉树[5]和自适应交错倾斜网格[41]，以捕获感兴趣区域中更多的小尺度细节，同时减少自由度的总数。2.2拉格朗日方法光滑粒子流体动力学（SPH）方法首先由Monaghan等人提出。[42]并应用于Müller等人的交互式应用程序。[43]第43段。Macklin等人进一步在基于位置的动力学（PBD）[44]中使用SPH内核，该内核广泛用于实时多材料应用[45]，以模拟基于位置的流体。拉格朗日粒子自然地实现质量守恒，而微分算子更难构造。因此，大多数差分扩展依赖于邻域搜索操作来近似局部连续场。在SPH中，使用平滑核对相邻粒子进行微分，该平滑核在其区域中对周围的粒子进行加权。Cornelis等人[46]和Bender等人[33]进一步解决了不稳定性问题并实现了不可压缩性。类似的无网格微分方法可以在再生核粒子方法[47]和无单元Galerkin方法[48]中看到。2.3混合方法混合方法采用欧拉和拉格朗日方法，其中结构化网格用于微分和几何跟踪薄特征保存。其基本思想是在粒子上执行运动学程序，同时在静态网格上执行动态步骤。同时，采用粒子网格插值方法实现了物理性质的来回传递。Harlow等人首先将粒子网格（PIC）方法应用于流体模拟，其中引入了过度的数值耗散[49]。Brackbill等人在PIC方法的基础上提出了流体隐式粒子（FLIP）方法，该方法通过传递速度场的更新来衰减速度场，89虚拟现实智能硬件2021年12月3日第2数值耗散[50]。朱进一步将这两种方法与混合因子结合起来[51]。Jiang等人使用仿射描述符[52]实现了网格粒子插值步骤，而Fu等人。[53]和Hu et al.[34]通过在粒子网格插值期间用多项式和移动最小二乘描述符来增加每个粒子，从而改进能量和涡度守恒。与纯欧拉方法相比，混合方法减少了对流步骤中网格插值引入的数值耗散，并自然地实现了粒子的质量守恒。与拉格朗日方法相比，该方法通过定义在规则结构上的全局线性系统来求解隐式约束，提高了计算精度。3数据驱动方法在本节中，我们将介绍基于不同空间离散化的数据驱动方法，并讨论流体模拟和数据驱动方法之间的潜在联系。3.1欧拉数据驱动方法我们首先将讨论限制在现有数据驱动方法中使用的规则网格。欧拉方法主要使用中心差分格式来离散相邻单元上的微分算子。基于相邻单元描述符的局部数据驱动求解器受到欧拉方法的启发。例如，Yang等人提出了一种基于块的投影人工神经网络求解器，其在每个单元上具有局部描述符，该局部描述符包含相邻单元的局部压力、单元类型和速度发散。在详细综合中使用了类似的概念[54]。Chu等人训练了一个基于补丁的卷积描述符，以从他们的时空流存储库中本地合成高分辨率细节[55]。合成结果如图2所示。图2使用CNN的烟雾合成结果[55]。左：低分辨率基线。右图：高分辨率合成烟雾。此外，全局数据驱动方法将整个流场视为输入。由于欧拉场和图像之间的结构相似性，以及卷积核和中心差分方案之间的感受野相似性，基于CV社区通常使用的卷积神经网络（CNN）的模型已被引入数据驱动的欧拉求解器[18，56，57]。在三维（3D）仿真方面，全局输入的空间复杂度随着字段长度成立方地增加，需要特征提取或输入分割方法。在早期的研究中[15，58]，主成分分析被用来提取特征。然而，由于其贫穷90QiannCHENetall：Data-drivenSimulationinfluidsanimation：Asurvey为了提高对非线性问题的适应性，通常采用数据驱动方法来解决问题。例如，Ling等人将从原始数据场中提取的伽利略不变性嵌入到雷诺应力各向异性预测中，以改进雷诺平均Navier-Stokes（RANS）湍流模型[59]。Xiong等人提出了一种基于学习的框架，用于从连续欧拉流场中提取离散拉格朗日涡粒子作为特征[60]。目前，一些研究人员[19，22，28，61 <$63]将自动编码器的架构结合到深度学习中，以获得更有效的特征表示。3.2拉格朗日数据驱动方法与规则网格不同，拉格朗日粒子是非结构化的，渲染网络建模具有挑战性。Stanton等人是第一个提出用于实时流体模拟的预计算状态图的人，其中每个图形顶点表示一帧中的粒子位置和速度，并且一个边缘表示状态之间的短过渡[16]。同时，拉格朗日方法的一个最重要的特点是基于相邻粒子的局部微分。回归森林方法是基于状态图的。该算法以粒子的分布和相邻粒子的速度作为节点属性，构造回归树。使用相邻粒子的状态作为输入，通过遍历树来预测中心粒子的未来运动状态[17]。关于无序拉格朗日粒子集和点云模型之间的相似性，在一些跨学科的研究中，拉格朗日系统采用了点云处理的思想。连续卷积（CConv）方法[64]提出了一种基于点云的卷积操作，使用球形滤波器。Ummenhofer等人通过在SPH框架下对邻域中的流体和边界粒子应用卷积算子，将网络集成到流体模拟中[24]。与无发散光滑粒子流体动力学（DFSPH）[65]的水模拟结果相比，3.在基于图形的网络中[66，67]，就流体中频繁的几何变化而言，研究人员必须在相邻粒子之间的图形中动态构建边缘，并使用图形卷积提取拓扑特征。Schenck等人提出了一种称为SPNets的新模型，其中构造ConvSP层以计算流体-粒子-粒子成对相互作用，并构造ConvSDF层以计算粒子-静态-对象相互作用[68]。图3 使用CConv进行水模拟[24]。顶行：来自CConv的结果。底行：来自DFSPH的结果[65]。3.3混合数据驱动方法在混合流体模拟中，数据驱动的优化可以应用于拉格朗日粒子或欧拉网格。对于数据驱动的求解器，类似于欧拉方法，神经网络模型经常被用来代替耗时的程序。在以前的一项基于物质点方法的研究[69]中，91虚拟现实智能硬件2021年12月3日第2用神经网络代替粒子内部加速度计算。对于细节合成，基于粒子的重新播种是一个更好的选择。神经网络模型可用于修改感兴趣区域中的物理变量，以在低分辨率下丰富流体细节。例如，机器学习FLIP（MLFLIP）[70]可以将FLIP框架中的飞溅细节建模为两个网络的概率分布问题，其仿真结果如图4所示。在这个例子中，分类器被训练来识别流体的飞溅细节，并且飞溅粒子速度使用修改器来采样，该修改器推断小尺度细节的正态分布。图4 使用MLFLIP的几个模拟场景[70]。左图：溃坝。图中：水从楼梯上流下来。 右：波浪坦克。4应用在本节中，我们将介绍数据驱动方法在流体模拟中的广泛应用，包括数据驱动求解器、细节增强、动画合成、流体控制和可微模拟。4.1数据驱动求解器对于欧拉方法，已经提出了一些数据驱动的求解器来代替欧拉方法中耗时的投影过程，特别是代替泊松方程的数值求解器。Yang等人提出了一种用于泊松求解的人工神经模型[54]。随后，基于卷积的投影求解器被Tompson等人[18]和Xiao[56，57，71]使用。其他人专注于流体场的时间连续性，并通过引入递归神经网络（RNN）结构和生成模型来模拟场的时间演化。Wiewel等人提出了一种基于LSTM的卷积层模型，可以将压力场作为输入来模拟投影求解，并将整个模拟循环建模为速度场的演变[61]。Kim等人在他们的生成网络模型中编码了物理模拟，该模型可以在不同参数下生成具有无发散速度的合理流体结果（图5（左））[62]。对于拉格朗日粒子，提出了用全局或局部粒子分布构建的预计算图[16 ，17]用于运动预测（图5（右））。为了在拉格朗日系统中模拟粒子间相互作用力，Battaglia等人在刚体模拟中引入了相互作用网络[72]。Li等人开发了动态粒子相互作用（DPI）网络，该网络捕获粒子的动态，分层和远程相互作用，以充分学习粒子动力学[66]。这种基于粒子的模拟器可以应用于多材质场景。Sanchez-Gonzalez等人[67]提到了图网络（GN）[73]，并提出了基于图网络的模拟器（GNS）来执行基于粒子的模拟中的预测。与以前的方法（包括DPI[66]和基于GN的模型[73]）相比，GNS方法更简单，仿真更简单，同时具有更好的泛化能力。此外，连续卷积92QiannCHENetall：Data-drivenSimulationinfluidsanimation：Asurvey图5使用数据驱动求解器的模拟结果左：水与刚性物体相互作用[17]。右：烟雾模拟[62]。方法以无连接的方式对点云上的卷积运算进行建模，可以看作是SPH运算的扩展。Ummenhofer等人使用空间卷积将每个液体颗粒与其相邻颗粒连接起来，并通过相邻颗粒的连续卷积获得位置校正[24]。Mukherjee等人使用基于LSTM的RNN框架来取代液滴接触前沿的色场梯度计算，以解决模拟小规模流体时的微观力和边界条件[74]。4.2细节增强与数据驱动的求解器相比，细节增强基于粗略的数值模拟向物理场或视觉结果添加精细的细节特征。它可以分为三个主要方面：细节合成，超分辨率和风格转移。对于数据驱动的细节合成，通常使用高分辨率细节的数据存储库。在模拟过程中，这些细节将映射到低分辨率流体上的相应面片，以生成细节。Sato等人通过构建二维（2D）高分辨率流体速度场的预先计算数据库并将其应用于平流步骤，以基于补丁的方式合成了3D低分辨率流体速度场的小尺度细节[58]。他们通过将低分辨率目标烟雾丰富为具有湍流细节的烟雾并使用基于优化的合成方法来解决补丁边界之间的不连续性来改进其方法[75]。Chu等人训练了一个CNN指标来编码不同分辨率的流体区域之间的相似性。使用该指标，他们成功地将模拟数据与可重用的时空流数据库相匹配，以有效地优化可视化结果[55]。相比之下，Um等人在FLIP框架中通过首先识别表面颗粒并使用飞溅分布模型预测其速度来合成飞溅液滴[70]。正如其名称所暗示的，“超分辨率”放大输入流场，并通过推断原始场中的亚网格细节来恢复高分辨率流场。Xie等人使用GAN模型从3D体积烟雾数据生成高分辨率场，该模型具有时间延迟以保持细节随时间的一致性，以及空间延迟以保留高空间频率的细节，其超分辨率结果如图6所示[23]。Werhahn等人通过将学习问题分解为多个较小的子问题来提高可扩展性[76]。在数字图像和视频中，通过生成包含一个输入的风格和另一个输入的内容的混合结果来传输风格。结合流体动力学，风格转移创造有趣和令人印象深刻的结果。Kim等人基于欧拉观点提出了一种基于运输的神经风格转移（TNST）模型[25]。他们设计了一个可区分的渲染器，使用从简单图案到复杂图案的2D图像来随后，他们扩展了研究93虚拟现实智能硬件2021年12月3日第2图6使用GAN的超分辨率烟雾[23]。左：低分辨率烟雾。右图：低分辨率烟雾穿过GAN。通过在粒子和网格之间添加额外的传递步骤，将拉格朗日表示转化为拉格朗日表示[26]。该方法消除了昂贵的递归对齐，并确保比TNST更好的时间一致性。4.3动画合成在动画合成中，流体的时空演化不是显式求解的，而是由基于输入的模型预测的。基于插值的方法通过定义它们之间的平滑插值映射来生成具有多个指定动画的动画。Thuerey使用了一种基于关键帧的方法，使用光流解算器结合投影算法来插值密集的时空变形，该算法可以恢复小尺度细节[80]。Pan等人通过偏微分方程约束的时空优化方法获得每帧的局部驱动力场，使用关键帧插值在关键帧之间生成流体场[81]。Sato等人通过结合不同场景中的现有流数据来合成流体动画。他们定义了一个插值函数来调整不同流场边界处的速度，以获得不同流场的自然组合[82]。对于视频中的流体重建，Eckert等人根据真实世界的烟雾视频重建了时间一致的流场，如图7所示，并提出了不可见流动区域的估计和受真实流体约束的优化方案[27]。他们首先使用常规断层扫描的单次通过和零速度初始化密度;随后，他们计算了与输入图像序列的运动和形状以及密度流入相匹配所需的剩余速度，同时保留了无发散约束。4.4流体控制图7来自真实世界烟雾视频的重建烟雾[27]。流体控制主要包括流体编辑、形状校正和流体运动控制。对于流体编辑，Flynn等人将接缝雕刻方法从图像处理应用到流体94QiannCHENetall：Data-drivenSimulationinfluidsanimation：Asurvey动画，其结果如图8所示[83]。他们根据平均曲率和动能定义了一个图形切割能量函数;随后，该函数用于添加或删除流场的接缝，以确保调整流大小后内容的一致性。对于形状校正，Nielsen等人通过添加约束来采用形状引导方法，以将具有薄液体外壳的高分辨率流体引导到具有较厚液体外壳的低分辨率流体中，以保留高分辨率场景中的低分辨率形状特征[84]。对于流体运动控制，Ma等人以数据驱动的方式解决了流体-固体耦合控制[28]。他们将强化学习应用于一个将水喷射到球上的游戏，方法是输入使用自动编码器提取的刚体特征和流体特征的组合。Morton等人使用编码器-解码器方案将原始流场坐标转换为新坐标，以控制涡流脱落抑制【85】。Holl等人设计了一种控制网络，可用于推断控制参数以控制流体形状变换[86]。图8水面可以使用接缝雕刻方法在降雨模拟中智能调整大小[83]。左：通过删除几个接缝水面。中：原始水面。右图：通过添加几条接缝使水面变平。4.5可微模拟可微性近年来得到了广泛的研究，它使得函数的导数可以用数值计算。通过将可微性应用于物理模拟，可以将模拟器并入基于梯度的优化算法中，并与ML算法相结合，以有效地解决逆问题。Schenck等人提出了一种可微分流体求解器SPNets，可以从数据中学习液体参数并执行液体控制任务[68]。他们在深度神经网络（DNN）模型中添加了两个新层：ConvSP和ConvSDF。ConvSP层设计用于计算PBF中的压力校正解决方案，而ConvSDF层专门设计用于解决粒子-静态-物体碰撞。Hu等人为软机器人构建了一个可微分模拟器，以解决一系列推理，控制和协作任务[87]。此外，他们将可微性集成到高性能Taichi[88]框架中（图9），从而实现刚体、软体、流体等的可微性[89]。此外，Holl等人设计了一个预测器网络来规划最佳轨迹，并设计了一个控制网络来基于可微模拟器推断控制参数[86]。图9使用太极框架的喷砂动画[88]。95虚拟现实智能硬件2021年12月3日第25技术问题和未来方向本节总结了第4节中介绍的各种应用程序的典型技术问题。这些问题需要今后进行调查。5.1解释性模型的可解释性，作为数据驱动方法[29]中的一个关键问题，已经由Lipton[90]讨论过。没有可解释性，数据驱动方法是一个黑箱模型，其有效性得不到保证。他等人研究了DNN和线性有限元方法之间的关系，以证明DNN在求解偏微分方程中的潜力[91]。在他们后来的出版物中，他们讨论了CNN和多重网格方法之间的密切联系[92]。Yang等人使用可微神经结构来学习广泛的物理约束，包括刚体旋转，绳索，铰接体，碰撞和接触[19]。5.2物理保真度在基于物理的方法中，物理保真度是通过物理定律自然实现的。通过在数值算法中强制执行这些约束，流体的行为与现实世界中的行为相同。然而，在数据驱动的方法中，流体演化是基于没有物理约束的历史数据推断的;这可能导致保真度不足和视觉伪影。为了使ML模型与物理定律保持一致，物理知识已被纳入损失函数中，以使模型能够捕获可推广的动态模式[31]。值得注意的是，将物理约束，特别是不可压缩性，嵌入到损失函数中是欧拉框架中的典型方法[56，57，71]。Kim等人迭代设计了一个损失函数，将不可压缩性、更好的速度外推和速度梯度嵌入到损失函数中[62]。基于物理建模的另一种方法是基于物理模型设计网络架构[31]。由于离散化的相似性，CNN和连续卷积网络分别用于欧拉和拉格朗日框架[24，56，57]。此外，考虑到流体模拟的空间连续性，RNN通常用于预测连续帧[22，61，74]。在生成模型方面，Xie等人介绍了TempoGAN，它可以使用GAN和附加的烟雾网络从3D体积烟雾数据生成高分辨率场[23]。 Werhahn等人在GAN中设计了一个时间和空间上的一致性，以保证烟雾的时间和空间一致性，从而提高数据驱动模拟中的物理保真度[76]。关于数据驱动的基于物理的建模的更多细节在[30，31]中提供。5.3偏微分方程求解如上所述，数据驱动求解器[18，54，56]证明了数据驱动模型求解泊松方程正则偏微分方程的潜在能力。求解高维偏微分方程的低计算成本一直是一个长期存在的问题。Lagaris等人在数值求解器中利用了数据驱动方法。[93].随后的研究使用深度学习技术将数据驱动的PDE求解器扩展到更高维的PDE[94，95]。解决此问题的另一种方法是使用数据驱动网络增强数值求解器;在这种方法中，可以使用数值求解器的基础轻松实现收敛和正确性[96]。通过将额外的学习校正步骤集成到可微管道中以与求解器交互，Um等人。减少PDE忽略的数值误差96QiannCHENetall：Data-drivenSimulationinfluidsanimation：Asurvey解算器[97]。这个想法也被采用在多重网格求解器中，其中网络学习最佳延长和限制矩阵[98，99]。在其他研究中，提出了一种网络来学习微分算子并揭示潜在的偏微分方程。例如，PDE-Net[100]学习微分算子和响应函数来揭示潜在的PDE。5.4性能优化并行算法在计算机图形学的各个领域都有研究[101 - 103]，包括CPU的多线程和GPU的并行计算。它们被广泛用于并行训练[104]，并扩展到物理计算[105 <$108]以加速。此外，Hu等人根据模拟中的数据结构和典型操作的特征设计了一个优化的编译器，以求解稀疏计算域中的方程[88]。此外，他们开发了一种用于仿真的可微分编程语言，从而实现了任务优化，例如运动学习和运动控制[89]。此外，这些研究揭示了在操作系统级别优化计算的新研究方向，其中数据驱动的训练过程可以被加速或模拟过程被视为数据驱动的优化迭代。5.5泛化泛化是评价数据驱动模型的一个重要指标。如果没有泛化，模型往往会过拟合，这通常是由有限的数据或复杂的网络结构引起的。在流体模拟中，泛化使模型适用于广泛的流体场景。Xiao等人将增量学习技术用于数据驱动的求解器，以提高泛化能力[56]。他们评估了几帧的网络输出和物理结果之间的误差。当误差超过阈值时，执行在线学习循环以使用当前场景微调训练模型。5.6模型降阶模型简化是计算机图形学中特征提取的典型方法，由Treuille等人首次引入流体模拟。[15]。其主要思想是简化模型以降低计算复杂度，同时尽可能多地保留特征。Wiewel等人设计了一个基于CNN的LSTM来提取潜在空间中的流体特征[61]。他们进一步将潜在空间分割成单独的量，使他们能够改变潜在空间中的还原量而不干扰其他量[22]。5.7数据处理仅仅通过应用来自原始流体数据的学习方法来合理地预测物理场是困难的[29]。研究人员通常将学习任务分为数据处理、建模和评估。其中，数据处理是数据驱动流体模拟方法中的一项基础而又重要的工作，它为数据驱动模型提供合理的特征。它包括流体特征提取、选择、识别和测量。对于特征提取，通常从高维和复杂的流体场中提取空间特征。例如，自动编码器用于通过训练将高维特征编码到潜在空间中[22，28，61]。Xiong et al.从复杂的基于网格的速度场中提取涡流特征，97虚拟现实智能硬件2021年12月3日第2使用学习的拉格朗日粒子表示漩涡，如第3.1节所讨论的。对于特征选择，Wang等人采用随机森林回归来预测基于RANS的湍流模型中的雷诺应力差异，其中平均流特征包括曲率、压力梯度、湍流产生/耗散比等，[109]以其为例，Milani等人使用随机森林模型预测薄膜冷却流中的湍流扩散率场[110]。他们采用了Ling[59]提出的特征选择，并基于频率进行了额外的特征重要性评估。对于特征识别，Bao等人通过特征识别对模型的输入特征进行预处理，包括特征定义，排名和优化。他们将变量和局部物理参数的导数定义为特征，使用随机森林对其进行排名，并基于归一化均方根误差和计算成本优化特征选择[111]。在特征度量中，不能仅用数据场的全局距离误差来度量局部特征的相似性。对于网格等结构化数据，可以借鉴CV中的图像相似性度量，使用卷积等空间算子提取特征进行比较。对于一些非结构化数据，如颗粒，邻域搜索算子可以用来提取空间特征进行比较。例如，Bao et al.设计了一种特征相似性度量（FSM）来估计两相流中的误差[111]。此外，为了克服在热工水力模拟中独立评估网格效应或模型可扩展性的困难，Bao et al.提出了一种基于FSM[111]的数据驱动方法，通过使用ML[112]研究多尺度数据中的局部相似性来量化不确定性模拟误差。类似地，Kohl et al.提出了一种稳定和通用的度量标准，称为LSiM，使用Siamese架构来测量两个流体场或现实场景之间的相似性[113]。5.8数据集框架数据集是模型训练和评估的基础。在CFD中，Li等人存档了一个包含各向同性强制湍流的数据集，其形式为速度和压力场的时间序列，已广泛用于湍流建模[114]。此外，几个CFD和流体数据集，包括THT实验室（Myong等人）[115]，KTH流量（Schlatter等人）[116]和FDY DNS（Avsarkisov等人）[117]仅提供具有不同分辨率的单个模拟数据集。为了为单一现象提供大量数据集，Eckert等人构建了一个全面的烟羽数据集[27]，其中包括速度场，密度场，校准数据，渲染图片和视频，以满足一些视频重建工作的要求[118，119]。最近，一个完全可区分的开源PDE解决工具包PhiFlow1已经发布。它可用于在GPU上的深度学习框架（如TensorFlow[120]和Pytorch[121]）中执行全功能流体模拟;此外，它已在以前的研究中采用[86，97]。6结论数据驱动的流体模拟将ML和流体动画联系起来，非常有前途。这种模拟可以在电影、游戏、虚拟现实等中产生详细的视觉效果，而没有过多的计算开销。我们的调查集中在流体动画中的数据驱动方法的方法和应用。此外，我们还讨论了与数据驱动方法相关的几个问题和未来方向。最后，我们希望这一调查将提供基本的理解和启发，研究人员感兴趣的流体动画。1 https://github.com/tum-pbs/PhiFlow98QiannCHENetall：Data-drivenSimulationinfluidsanimation：Asurvey竞合利益我们声明我们没有利益冲突。引用1费飞，张军，李军，刘正华。多尺度气体流动的统一随机粒子Bhatnagar-Gross-Krook方法计算物理学报，2020，400：108972DOI：10.1016/j.jcp.2019.108972（美国联邦快递公司）2张军，田萍，姚松，费芳。Kolmogorov流的多尺度研究：从微观分子运动到宏观相干结构。流体物理，2019，31（8）：082008DOI：10.1063/1.51162063Zhang J，John B，Pfeiffer M，Fei F，Wen D S.非平衡气体流动的粒子基混合多尺度方法。空气动力学进展，2019，1（1）：1DOI：10.1186/s42774-019-0014-74Zhang J，Onskog T. Langevin方程通过耦合分子运动和宏观涨落来解释Rayleigh-Bénard不稳定性的机制。物理评论E，2017，96（4）：043104 DOI：10.1103/physreve.96.0431045Losasso F，Gibou F，Fedkiw R.用八叉树数据结构模拟水和烟。In：ACM SIGGRAPH 2004 Papers on-SIGGRAPH'04.洛杉矶，加利福尼亚州，纽约，ACM Press，2004，457-462 DOI：10.1145/1186562.10157456张文，张文，等.冲击波的局部自适应网格加密.计算物理学报，1989，82（1）：64DOI：10.1016/0021-9991（89）90035-17严红，王正英，何军，陈翔，王春波，彭庆生.使用自适应SPH进行实时流体模拟。计算机动画与虚拟世界，2009，20（2/3）：417DOI：10.1002/cav.3008张文龙，王文龙，张文龙，张文龙.用于液体模拟的窄带FLIP。计算机图形学论坛，2016，35（2）：225DOI：10.1111/cgf.128259朱建英，扎法尔纳布，杨晓波.可扩展并行流体模拟的schur补预条件子。ACM Transactions on Graphics，2017，36（4）：1DOI：10.1145/3072959.312684310高明，王晓林，吴凯，普拉达纳A，西法基斯E，尤克塞尔C，江C.材质点方法的GPU优化。ACM图形学报，2019，37（6）：1DOI：10.1145/3272127.327504411[10]杨文，李文，李文.用于流体模拟的小波湍流。ACM图形学报，2008，27（3）：1-6DOI：10.1145/1360612.136064912张文辉，张文辉，张文辉.流体动画的拉格朗日涡面。ACM图形学报，2012，31（4）：1-8DOI：10.1145/2185520.218560813杨文辉，杨文辉.使用各向异性湍流粒子的可缩放流体模拟。于： ACM SIGGRAPH Asia 2010论文- SIGGRAPHASIA '10。韩国首尔，纽约，ACM Press，2010，1-8 DOI：10.1145/1882262.186619614[10]张文辉，张文辉，张文辉.基于网格的表面张力流的多尺度方法。ACM图形学报（TOG），2010，29（4）：1DOI：10.1145/1778765.177878515Treuille A，Lewis A，Popović Z.实时流体的模型简化。ACM图形学报，2006，25（3）：82699虚拟现实智能硬件2021年12月3日第2DOI：10.1145/1141911.114196216Stanton M，Humberston B，Kase B，O'Brien J F，Fatahalian K，Treuille A.使用玩家分析自我完善游戏。ACM图形学报，2014，33（4）：1DOI：10.1145/2601097.260119617[10]李文辉，李文辉.使用回归森林的数据驱动流体模拟。ACM图形学报，2015，34（6）：1DOI：10.1145/2816795.281812918杨晓萍，王晓萍.用卷积网络加速欧拉流体模拟。机器学习国际会议。2017，3424 343319杨S，何X，朱B.学习物理约束与神经投射。神经信息处理系统进展，2020，3320张军，马文杰。基于分子模拟的流体动力学控制方程的数据驱动发现。流体力学杂志，2020，892：A5DOI：10.1017/jfm.2020.18421Brunton S L，Noack B R，Koumoutsakos P.用于流体力学的机器学习。流体力学年鉴，2020，52（1）：477DOI：10.1146/annurev-fluid-010719-06021422吴文辉，李文辉.潜空间细分：流体流动的稳定和可控时间预测。计算机图形学论坛，2020，39（8）：15DOI：10.1111/cgf.1409723谢毅，弗兰兹E，朱明Y，Thuerey N.tempoGAN。ACM Transactions on Graphics，2018，37（4）：124Ummenhofer B，Prantl L，Thuerey N，Koltun V.连续卷积的拉格朗日流体模拟。2020年学习表征国际会议DOI：10.1146/annurev.fluid.35.101101.16120925张文辉，李文辉，李文辉.烟雾模拟的基于运输的神经风格转移。ACM图形学报，2019，38（6）：188DOI：10.1145/3355089.335656026张文辉，李文辉，李文辉.流体的拉格朗日神经式传递。ACM图形学报，2020，39（4）：52DOI：10.1145/3386569.339247327杨伟，王伟，王伟. ScalarFlow：用于计算机动画和机器学习的真实世界标量传输流的大规模体积数据集。ACMTransactions on Graphics（TOG），2019，38（6）：1 - 16DOI：10.1145/3355089.335654528马培春，田永生，潘志荣，任宝，马诺查.使用深度强化学习的流体导向刚体控制。ACM图形学报，2018，37（4）：1DOI：10.1145/3197517.320133429放大图片作者：Jiang G，Xiao H.数据时代的湍流建模。流体力学年鉴，2019，51（1）：357-377DOI：10.1146/annurev-fluid-010518-04054730张志文，丁乃泰.数据驱动的热流体模型的机器学习框架分类。 国际热科学杂志，2019，135：559DOI：10.1016/j.ijthermalsci.2018.09.00231Willard J，Jia X W，Xu S M，Steinbach M，Kumar V. Integrating physics based modeling with machine learning：asurvey. 202032杨文伟，王晓伟.烟雾的