3DeepCT：多视图图像中的3D重建和体积散射层析成像

56713DeepCT：学习云Yael Sde-Chen，Yoav Y.Schechner，Vadim Holodovsky维特比电气与计算机工程学院Technion-以色列理工学院，以色列海法yael.sde. gmail.com，yoav@ee.technion.ac.il，vholod@ef.technion.ac.il埃什科尔·埃坦地球与行星科学系，以色列雷霍沃特魏茨曼科学研究所电子邮件：eshkol.eytan@ weizmann.ac.il摘要我们提出了3DeepCT，这是一种用于计算机断层扫描的深度神经网络，它可以从多视图图像中执行散射体积的3D重建。大气云场的静止性质决定了该体系结构。体散射层析成像的任务旨在从其2D投影恢复体积。基于信号处理和物理模型的各种反演方法已经解决了这个问题。然而，这样的技术通常是迭代的，表现出高计算负荷和长收敛时间。我们表明，3DeepCT在准确性方面优于基于物理的逆散射方法，并且在计算运行时间方面提供了数量级的改进。我们进一步介绍了一种结合3DeepCT和基于物理的分析的混合模型。由此产生的混合技术具有快速的推理时间和改善恢复perfor-mance。1. 介绍人们越来越努力地开发用于重建不透明对象的三维（3D）形状或投影的深度神经网络（DNN）。 这些DNN使用显式外壳或体积表示[7，11，12，13，19，24，28，35，53，58，59，67，78，79，80，82]。然而，在推进3D异质体积半透明场（诸如大气）的重建方面仍然存在显著的差距（图13）。①的人。3D异构半透明对象的重建，基本上，使用地形数据。传播通过介质的辐射产生一组多视图二维（2D）辐射测量图像。分析从数据中检索3D中材料密度的体积空间分布MODIS2019年 12月6日北纬190度;西经-560度;550×415平方公里Terra卫星拍摄的照片图1.浅积云云场[76].这是计算机断层扫描（CT）。它广泛用于生物医学成像和地球科学[3，5，23，37，57，66]DNN推进了医学CT [29，34，65，72，77]。然而，大多数CT模态基于线性图像形成模型。线性模型可以使用已建立的信号处理方法很好地解决，包括凸泛函的优化，而不需要学习。可以认为，3D断层扫描不容易适用于当前的DNN。原因是DNN需要大量的训练数据，但要获得足够的体积异构半透明对象的地面实况数据是非常困难的重建这样的对象构成了一个严重的挑战，值得DNN解决。我们相信，当这些条件得到满足时，就会出现这种挑战和机遇（1）层析成像模型非常复杂：非线性，而不是单峰。然后，线性CT分析的方法不能应用。此外，基于优化的估计是非常缓慢的，不可扩展的，过于依赖于初始化。（2）分析巨大的3D场迫切需要可缩放性。（3）虽然成像模型是非线性的，但它是连续的：介质的微小变化连续地影响图像数据，反之亦然。（4）有一种基于物理学的方法来生成一个大而多样的数据库。 根据这些5672·∼−≤≤FJ（x，ω）β（x） T（x，x）dx，·在各种条件下，DNN可以真实地学习表达大型半透明场的丰富性，以及生成3D半透明对象及其图像的物理过程。此外，经过训练的DNN提供的推理速度可以显著超过显式的基于物理的优化。我们提出了一个问题，应该大大受益于DNN的CT。问题是非常大的随机3D空间异质散射介质[2，10，25，46，55，68，69，74]的成像：大气。在计算机视觉中，通过散射介质的成像通常与去雾[33，51]，除雾[43]，水下去散射[2，71]或恢复介质的属性有关，假设其空间均匀性[10]。然而，这里的重点是云的成像[50，84]。云与全球气候系统的相互作用还没有得到很好的理解。这导致了气候预测的重大不确定性[4，6，8]。这是在内部正确地感测这些体积半透明对象的主要动机。云通常是高度异质的。此外，云的多视图图像由3D辐射传输（RT）[20，31，64]控制：一种非线性递归前向模型，其表示3D中的任意多次散射。反转这个模型是非常复杂的。遥感中的常见方法试图通过施加模型[60，61]来绕过这种复杂性，其中云是水平均匀的，无限宽，并且RT大致垂直（一维）。这是不符合自然的，特别是当云系统使用基于严格物理的模拟场和图像的生成。2. 理论背景我们寻求恢复介质的3D体积光学参数，特别是3D云。我们现在提供反问题的背景知识，并专注于这一领域。2.1. 3D辐射传输令X表示3D位置，并且ω表示3D方向单位向量。该矢量表示辐射的传播方向。通过散射，方向从ω′变为ω该变化由在X处的无量纲散射相位函数设置，表示为p（X，ω ω’）。相位函数被归一化，因为它等同于方向ω’和ω之间的散射的概率密度。当辐射与粒子相互作用时，辐射可以被散射或吸收。散射和吸收的相对概率分别为和1ϖ,其中0其中，λ1是单次散射λ，粒子。在可见光下，对于空气分子和云水滴，吸收可以忽略不计。位置X周围的消光系数是β（X）。在那里，沿无限小距离dx的任何类型的相互作用都有概率β（x）dx。两点x1，x2之间直线上的透射率为有小到最近的计算机视觉工作引入了3D散射断层扫描[1，16，25，26，32，40，45，46，47]，并提出了一个可行的路径来研究云。但据T（x1，x2）=expΣ−X2β（x）dxX1.（一）仍然很慢并且没有被缩放。参考文献[22]表明厚云有一个被遮蔽的核心，图像对此不敏感。仅仅依靠图像可能会导致隐藏核心的重大错误：数据项在厚云中是病态的。正规化应该是有价值的。基于学习的系统可以解决这个问题：使用ex-多重散射的丰富性，包括相互作用的各种路径、可能的吸收或散射事件以及不同角度的散射，体现了RT。它由一组递归耦合方程表示[ 9 ]：I（x，ω）=I（x0，ω）T（x0，x）当它训练样本时，系统隐式地学习云的性质和结构3DeepCT列车上物理-∫x′x0的′ ′ ′（二）逼真的云，同时表达RT（保真度）和云的性质（正则化）。因此，我们认为，神经网络（NN）是更好的条件云的方式J（x，ω）=（x）4πp（x，ω ω′）I（x，ω′）dω′.4π断层摄影术我们提出的基于学习的系统3DeepCT推断3D散射CT。虽然它的结果具有与基于物理的显式方法相当的质量，但它的运行速度似乎快了五个数量级。此外，在训练之后，它可以潜在地可扩展到广泛的云领域，利用GPU并行性。我们展示了云场中云的自然属性如何导致3DeepCT的架构。这包括基于2D卷积的卷积神经网络（CNN）、其感受野的大小和层深度，以及避免维度减少。此外，我们还提供了一种方法来训练这种这里，I（x，ω）是在每个位置和方向处的辐射场，并且I（x0，ω）是在边界点x0（边界条件）处在方向ω上场J（x，ω）称为源函数。当量（2）在任何地方提供辐射。成像样本的辐射场：则x是相机的投影中心，而ω对应于投影到相机中x处的特定像素的视线（LOS）。因此，前向模型包括两个连续步骤：（a）运行等式（2），其取决于介质β，以及（b）对相机位置处的辐射率和投射到这些相机中的像素的LOS进行该采样与β无关。∫+Σ∫5673F≈OFE2FEEFFE×≈O−≈−对于给定的介质，Eq.（2）是通过建立的方法计算的，例如SHDOM [1，18，20]和Monte Carlo [15，16，32，54，56]。此外，近年来，计算机视觉和图形界已经推导出对雅可比矩阵（β）/λβ的近似[25，26，42，45，52，83]。这里，β将所有体素上的消光系数连接到向量。矢量长度等于域中的体素的数量。在云中，方程式（1，2）在β上是高度非线性的。相比之下，在医学（传统）CT中，信号由对β的线性依赖性主导，并且1/2的光子不散射[23]，使得SART可行，至少对于初始化[23]。在云中，光学厚度为（10. . .100）。因此，地面辐射和单次散射事件的直接传输可以忽略不计，并且不能成为初始化的现实来源使用SART。2.2. 反问题前向模型（β）渲染给定β的图像。测量的辐射率图像数据以矢量y表示。其长度是相机图像像素、视点、光谱带和可能的偏振通道的数量的乘积。β的估计是一个逆问题。通常，它被公式化为优化问题：β*=arg min（β），（3）β其中E是成本函数。具体地说，E（β）=||y − F（β）||二、（四）在散射介质中，β是非线性的。因此，Eq.（3）不能用矩阵反演的线性代数工具求解。然而，由于近似雅可比矩阵中提到的Sec。2.1中，导出了一个近似梯度<$（β）/<$β。这使得能够使用基于梯度的方法来实际解决（3基于梯度的优化有两个主要问题。首先，解显著地取决于初始猜测，因为（β）在β中是非线性的，并且（β）不是单峰的。其次，这个问题很难扩展[52]，并且它通常在小域上运行。计算（β）和（β）/它需要递归计算场I和J，依赖于Eq.（2）以及渲染在迭代优化期间，模型化的投影图像。我们试图减轻这一负担，通过设计一个基于学习的系统体积散射CT。2.3. 模拟数据和噪声用于分析高维数据和未知数的基于学习的系统需要大的训练数据库。对于现实世界中的大型异构体对象，获取大型数据库是非常困难的。例如，在动态的云中，真实世界地面实况训练数据库将需要针对每个真实世界云，同时测量云滴的原位测量。（105）106）体素，使用该数量的空中云滴传感器。这是值得怀疑的，如果这样一个大的分布式地面实况原位系统将永远存在。即使它存在，也需要在不同的大气和光照条件下进行缩放，以采样大型云数据库。为了克服现实世界的标记数据的实际情况下，我们训练的层析成像分析系统，使用的metric- ulous模拟。我们解释的模拟，涉及到云在秒。4.第一章 我们对透视相机的模拟具有基于CMV4000传感器的噪声模型[14]。像素大小为5。5个5. 5微米2，读出噪声标准偏差为13个电子，传感器暗电流为125电子/秒（25° C），一个像素的满阱为13，500电子。它使用10 bit量化，因此改变单位灰度级所需的光电子数为ge= 13，500/210。 曝光时间可根据到达相机的辐射率进行调节，使得相机传感器到达满阱。 有关噪声模型的其他信息，请参见补充资料。2.4. 田野里的云我们在大气云上测试了学习层析成像。这种介质具有影响我们系统的特性。暖云的意义暖云是由液态水滴组成的。云占地球反照率的三分之二，而温暖的浅云构成了它的主要部分。在可见光下，这种反照率是云对地球能量平衡的辐射效应中最重要的部分。海洋上空的暖云有着特别戏剧性的效果。考虑图1.一、海洋是黑暗的（高度吸收），而云是白色的（高度散射和反射）。因此，多云和非多云地区之间的差异对地球的能量平衡有着极端的影响由于它们在散射的光学信号和气候方面的重要性，我们在这里的工作重点是海洋上的暖云。纵向薄，横向宽域。垂直坐标和水平坐标之间有明显的差别。感兴趣的大气领域，特别是云场，可以是数千公里宽。 另一方面，垂直维度是薄的。大气压力（约为密度）随海拔高度呈指数下降，在海拔高度处降至海平面压力的一半。5 6公里。暖云的顶部通常在2公里以下。因此，在水平和垂直长度之间存在量级的差异。此外，委员会认为，云是由重力驱动的垂直气流和由于温度梯度引起的空气包的浮力产生的。相比之下，水平风是由一个微妙的水平5674--------2----∼真--压力梯度，其可以为零。出于这个原因，我们的基于学习的系统是各向异性的，处理垂直和水平变化非常不同。水平平稳性。参见图1，云场在长范围内保持相当稳定的统计数据[75]。这对于远离陆地的海洋上的云来说尤其如此。因为统计量近似是空间不变的（在水平坐标中），所以我们的分析系统也是空间不变的：当处理水平坐标时，这自然导致卷积结构。垂直坐标是独立的，不是空间不变的。3. 3DeepCT在这里，我们提出了一个系统，3DeepCT，用于学习3D散射CT。基于DNN，3DeepCT学习然后推断体积域。3DeepCT相对于纯基于物理的场景分析快了几个数量级。它的输入是场景的多视图图像，并且它的输出是估计的3D异构β（。 如第2.3，至少可以说，凭经验获得用于通常是动态的大型异构体介质的大型训练数据库。因此，训练基于真实场景β、图像和现实噪声的严格的基于物理的模型。使用这样的模拟数据库，通过使损失最小化来执行学习。我们使用的损失是均方误差（MSE）：2 数据是多角度图像的形式，即，输入具有对应于不同视点（视角）的角通道为了从多视图图像捕获3D信息，所有角度通道都参与。与卷积运算相反，不存在对角邻域的偏好。此外，输出云具有由垂直通道表示的垂直结构。如SEC所写。2.4、云的垂直结构不是静止的。因此，在DNN的所有层中，卷积核仅在2D中操作互补坐标上的通道，特别是输入中的角度通道和输出中的垂直通道，每个NN层。3由于大气层的有效厚度（第二节）。2.4）和通常少量的视点，在垂直或角度方向上具有完全交织的架构不是计算负担。另一方面，由于云场的范围非常广，图像分辨率很高，水平CNN使分析具有可扩展性。通过在3DeepCT神经网络的任何层的入口阶段使用Conv2D操作直接解决原则1和原则24 一个小的暖云单元通常有几百米到一公里的大小。因此，输出神经元需要对该范围内的其他神经元的输出具有某种统计依赖性这决定了整个DNN的最小感受野范围R这决定了DNN的深度，即它的层数。让相机水平损失MS E（βtru e，β（））=||β真−β||2（五）分辨率为r米/像素。 原则上{3}，操作3DeepCT基于基于物理的训练数据，因此在测试数据的推断中，物理学起着隐含的作用。然而，出于科学需要，最后一句话被给予反问题的明确的基于物理学的解决方案是有益的混合动力系统可以做到这一点。给定未知场景的新数据由3DeepCT获得的解然后被用作慢得多的基于物理的反演的初始化。只有几次迭代，然后将需要显式的基于物理的反演。这些原理可以应用于任何类型的计算机摄影和任何媒体。然而，它有利于专家系统被定制成成像模态和被观察的介质。因此，从这一点开始，我们描述了3DeepCT的架构和实现如何适用于暖云的散射CT。3.1. 为云领域量身定制的体系结构这些架构原则遵循云的自然特征，其中一些在第2节中描述。2.4：1由于云场的水平平稳性，无论是作为体积对象还是在 图 像 中 ， 3DeepCT 都 是 一 种 卷 积 神 经 网 络（CNN）。卷积核在水平域中操作。每个层的最大值基于Conv2D，其使用具有小的2D支持的长度为h像素的内核层数需要为L R/（rh）。5通常，云是由混乱的湍流产生的。因此，它们不像人体那样是高度结构化的对象。因此，云不适合于显著的降维。此外，断层扫描试图解决体素，其数量与数据大小相当。因此，与自动编码器网络相反，我们不包括降维（池化）操作。3.2. 架构简单性3DeepCT具有简单的结构。然而，它优于我们尝试和测试的许多替代品。具体来说，我们通过制定迭代的近端梯度并展开它来构建深度前馈NN（类似于[49]的RNN）来测试深度展开我们进一步检查了ResNet，U-Net，CNN以及来自[53]的3D卷积层和元素。受[10]的启发，我们在训练中使用3D对象和渲染图像两者的损失来结合基于物理的渲染，但是在每个时期渲染所有对象需要太长时间而不实用。在所有情况下，结果都证明是不充分的。U-Net和ResNet的性能结果最终，我们的研究将我们带到了这里描述的3DeepCT结构。这5675...ℎ������������������������������������aLL×L×l−11LL̸≥���输入×输入×输出������×输入 ×输出（）1L...L Lℎ���������������������������（）图2. 3DeepCT神经网络架构：卷积神经网络接收云的多视图卫星图像作为输入，并重建云的3D消光场。(a)我们用来训练网络的架构。这些图像是单个孤立的云。(b)用于推断的架构的图示，其中输入可以是捕获大云场的大图像。一个空间雕刻面具被纳入。批量归一化层退化为缩放和偏置的线性操作。可能不是巧合：正如我们所解释的，我们的问题的性质可能适合这种结构。3.3. 实现细节该架构如图所示。二、3DeepCT具有L层，索引l= 1。. . L. 在每一层中，分别存在C_in和C_out输入和输出通道，其中优化器、StepLR调度器（步长10，gamma为0. 9），初始学习率为1 e-3，批量大小b=32。4. 数据4.1. 基于物理的云从SEC召回2.3ob-obm的实际不可行性L l对于1 = 1，C输 入= C输 出。视点的数量设置Cin，而Cout是体积中解析的垂直高度的数量。每个输入图像（每个输入通道的数据）的大小H W像素。由于我们没有降维，因此3DeepCT中的每一层都保持H W的2D大小，这是估计体积域的水平大小。此外，C输出C输入，逐渐增加或保持每层的信道数量。每个层l由一个Conv2D算子组成，后面是批量归一化和ReLU激活函数。我们发现，通过域的空间雕刻（SC）[44]，推理得到了显着改善。SC是用于近似3D对象的边界外壳的已知方法。SC也显著有助于基于物理的逆渲染，如[46]中所报告的。云相对于黑暗的海洋背景具有显著的对比度。因此，对每个输入图像应用适度的云掩模，然后是SC。这产生关于体素可能潜在地具有水滴的简单边界约束。补充材料中描述了SC的消融研究。我们使用Pytorch框架实现了3DeepCT [63]。由于卷积架构，在更大或更小的H、W下推断是可能的。网络训练和测试架构如图所示。二、通过消融研究对其组件和超参数进行了仔细检查和调整（参见补充材料）。我们使用NVIDIA GeForce RTX 2080 GPU，获得云的经验真实世界数据库。因此，3DeepCT使用严格的物理模拟进行训练。模拟耦合三个组件：[A] 初始和环境条件（气溶胶、风、温度、表面通量、湿度场等）使用BOMEX [73]或CASS [85]设置。补充材料中对此进行了描述。每个设置产生具有如表1所指定的域大小和分辨率的数据库。将模拟域划分为50 μ m的体素宽40m厚。[B] 动态大涡模拟（LES），解决了湍流大气的耦合方程LES是主要的数值工具，用于生成和研究与我们工作相关的高度上的云[30，62，81]。这里我们使用大气建模系统（SAM）[39]。SAM是一种非流体静力学、非弹性模型。[C] 通过光谱模型表示液滴它明确地演变的物理方程的过程，影响云滴的增长，产生每个体素的液滴的大小分布。该分布被对数地采样到33个箱中在范围[2µm，3. 2mm]。通过米氏理论，这导致每个体素的真实光学消光系数β真和相位函数[27]。为了实现较小光学深度的表示和网络表达，我们从CASS数据集构建了CASS-Aux在那里，每一个5676± ± ± ±±×± ± ± ± ± ±±- ± ±±真数据集水平垂直体素火车评价测试BOMEXCASSCASS-Aux1 .一、6km×1。6公里3.2km× 3。2km3 .第三章。2km× 3。2km1 .一、2公里1.2km1 .一、2km32× 32× 3264× 64× 3264× 64× 32四千八百八七二六三千七百四十四一千二百2181686286一千一千表1.数据集规格：体积的水平和垂直范围;体积的体素的数量;训练、评估和测试集中的样本数量。型号几何数据集L高×宽历元培训时间[小时]C在1C位出道L1232颗卫星10颗卫星BomexBomex333332 ×3232 ×3210001000118321032323410颗卫星10颗卫星CassCASS，CASS-Aux808064 ×6464 ×641000800481410103232表2.3DeepCT模型规格：第2.2节所述几何结构的几何结构4.2;来自表1的数据集，模型在其上训练;网络的参数L、H、W;训练时期的数量;训练持续时间;网络的C输入、C输出参数1LCASS云减少了10倍。4.2. 基于物理的渲染给定地面实况云，渲染使用基于物理的RT求解器（SHDOM），其具有开源代码[48]。渲染是根据太阳角度、观察几何和传感器特性设置的。我们针对几种不同的成像几何形状分别训练了3DeepCT的版本：32个观点。[41]一条向北的珍珠链--有32颗卫星在600公里的高度运行。最近的卫星相距100公里。它们以偏离天底角75观察相同的视场 。2◦，73. 5◦， 71. 7◦，69. 6◦，67. 四分之一，64。8◦，62◦，58. 8◦， 55. 2分，51分，46分，四十6◦、34◦、26◦、18◦、9◦和0◦。 每个携带透视照相机。 每个摄像头的视野 是0。22◦，对应于1的接地足迹。6公里1. 6km（最低点），50m地面分辨率。传感器噪声特性对应于CMV4000传感器[14]。太阳方位角和天顶角分别为45◦和30◦。10个观点。这种几何形状是由CloudCT太空任务激发的[70]。该任务计划10颗携带透视相机的纳米卫星，它们将同时以多视图几何形状对云进行成像。该几何形状在补充材料中可视化。这些参数与32个视点几何体的参数相似etry 然而，在这里，我们使用偏离最低点的角度−46◦，±34◦，±26◦、±18◦、±9◦和0◦。A. 3DeepCT。它运行在NVIDIA GeForce RTX 2080GPU上，只需几毫秒即可重建每个云。这使我们能够测试数百个云样本。B. 基于物理的逆散射。物理模型对数据的这种显式优化迭代拟合是现有技术[45，46，47]。它使用来自公共领域的SHDOM代码[48]。它由默认常量βinitial=0初始化。01全球所有云的空间雕刻面具。为了运行这种方法，我们使用20个内核的Intel（R）Xeon（R）Gold 6240 CPU@2.60GHz，具有72个内核。最先进的方法不利用GPU，因为其复杂的计算需要CPU。重建这个系统中的每个云大约需要一个小时。因此，在执行跨方法比较时，我们使用了来自测试数据集的七个特定云的子集该子集在补充材料中显示。C. 混合系统。A的结果为后续使用方法B提供了初始化，类似于[10]。然后，迭代显式优化基于物理的逆散射[48]，如B中所示。D. 快速混合系统这与C类似，但只使用10次迭代，缩短了整体运行时间。作为示例，图1A和1B示出了图1A和1B的示例。图3和图4示出了使用来自表2的模型1对所述七个云的子集中的一个云的恢复。我们报告了与地面真实值βtrue的数值比较。为了能够与现有技术[45，46，47]进行比较，我们使用这些相应的标准用于相对平均误差和相对总质量误差。总的来说，我们用几种模型进行了实验，每个模型都是-||β||||β ˆ ||−||βˆ||使用某个云数据库（Sec. 4.1）和几何学。每个然后在不同的数据和网络设置上训练模型。这些总结在表2中。联系我们||β真 ||11，δ=||β1真 ||11 .一、 （六）5. 模拟推断结果我们提出的推理（测试）训练模型的结果，在不同的几何形状。我们比较了四种方法：5677图5总结了与测试结果相关的运行时间和质量结果。到七个云的子集使用模型1。显然，在这些测试用例中，3DeepCT在运行时间方面具有巨大的优势：它比最先进的方法快了大约五个数量级，这是一种基于物理的显式方法。56780.50.50.50.50.5±± ±±地面实况3DeepCT基于物理混合快速混合[km−1]10.5010.50=66，���10.50=83，10.50=53，10.50=63，���2001501001.5Y [km]10.511.51.5Y [km]10.511.51.5Y [km]10.511.51.5Y [km]10.511.51.5Y [km]10.511.55000X [km]00X [km]00X [km]00X [km]00X [km]0图3.云灭绝的3D重建。这些恢复结果对应于测试的七个云的子集中的示例云。从左至右：云的三维地面真实消光3D重建消光使用四种方法中提到的第节。5：3DeepCT的模型1，基于物理的逆散射，混合系统，快速混合系统。2401608000 80 160240地面真值[km−1]0 80 160240地面真值[km−1]表3. 3DeepCT测试结果总结：模型1和模型2的平均标准差（std）见表2。ε和δ的定义在等式中。（六）、因此，3DeepCT可以提供云状且近似符合RT快速解决方案。因此图4.测试的七个云的子集中的示例云的恢复结果的散点图图与方法A和B有关，见第 五、 重建的3D消光为。 红线表示理想重建，其中β=βtrue。云深处的体素很难重建，因此我们看到红线周围的散射。100806040203DeepCT输出对于初始化很有价值在补充材料中，将该初始化与现有技术中使用的其他初始化方案进行比较。相对于现有技术，混合方法在相同的运行时间内产生了质量的显著提高。Quick-Hybrid方法是3DeepCT和Hybrid长期运行之间的运行时间和质量的折衷当不与基于物理的慢速优化进行比较时，可以在完整的测试数据集上评估3DeepCT。模型1和模型2的结果总结在表3中。当视点的数量减少时，质量会下降然而 ， 10 个 视 点 的 几 何 体 在 短 期 内 更 现 实 ， 正 如CloudCT太空任务所计划的那样[70]。0基于物理的混合快速混合3DeepCT模型3在CASS数据集上训练，其中云场是BOMEX数据集中的四倍。两个大云场结果的例子如图所示。六、与CNN的可扩展性相反，我们无法运行图5.数值结果的子集七云，讨论节中五、蓝色是ε，橙色是δ（见等式2）。（六）。圆圈是平均值，线表示结果的±下表包含运行时间（平均值±标准值）。在质量方面，3DeepCT的平均结果也优于最新技术水平。这些发现的原因可能是基于物理学的逆渲染解决了非凸问题，同时忽略了云的性质（典型的空间结构统计）。此外，逆渲染可以收敛到局部最小值，如[10，25，86]中所建议的。另一方面，3DeepCT在云上训练，因此不仅隐式地学习RT，而且还学习3D云统计数据。这可能是一个现实--基于物理学的显式优化（现有技术）在大于大约一千米的场地上，例如这些场地。这是因为基于物理的显式优化需要额外的资源;在[ 52 ]中也报道了该问题。6. AirMSPI真实世界数据美国宇航局成像是由安装在飞机上的AirMSPI推扫式成像仪器[17]进行的。我们在660 nm通道使用10个视图，对应于以下轨道上的角度38°、30°、21°、11°和0°。目前还没有真正意义上的多...3DeepCT基于物理恢复[km-1]Z [km]，型号ϵδ时间[毫秒]12382±10%86±10%96±18%32±16%44±16%3±50%7 ±0。97 ±0。718 ±21.3±0.6⋅103[秒]2±1⋅103[秒]2±0.8⋅102[秒]7±0.8⋅10−3[sec]5679散射y=x3DeepCT3DeepCT [km−1]云1���= 55，���Y [km]云2���= 52，���18012060025201510000 10 20200100X [km]Y [km] X [km]云1云2Y [km]基于物理学[km−1] 0.080.04001002000 0.04 0.08地面真值[km−1]图6.三维消光在一个大的云场，3。2km长，使用3DeepCT的Model3（左）恢复一个场景。[中]另一个场景的重现。[右]回收值与两个场景都是真实的查看卫星云图。1为了与3DeepCT的观点保持一致，我们执行了以下步骤：(a) 我们把云出现在AirMSPI推扫数据。(b) 应 用 基 于 物 理 的 逆 渲 染 。 (c) 透 视 渲 染 意 味 着3DeepCT的输入来自基于图像的渲染。图7示出了使用3DeepCT的模型4的恢复。它还显示了交叉验证：最低点视图被排除在NN输入之外，但基于估计的3D β来渲染。这与左侧的最低点视图进行比较。补充材料中的其他图像。7. 总结3DeepCT是一个用于CT的DNN，可以对大型半透明域进行3D重建这种方法有一个显著的优点。特别地，与基于物理的分析相比，它实现了改进的准确性和运行时间的显著减少因此，3DeepCT应该能够重建大的云场。外观基本上取决于未知的液滴尺寸分布（DSD），其设置相函数、云反照率和消光系数β。这里我们估计β，它是DSD的乘积。我们预计未来的研究将推广3DeepCT以获得DSD参数，其动机是[46]。外观还取决于地球上每个位置的已知参数：太阳角度（由当地时间设定）和表面（地面/海洋）反照率，这些参数来自先前的卫星图像。一个NN可以在每个地球上进行1[45，46，47]中的数据是推扫式的。[1，32]中的数据具有半球形视场，并且图像在散射域内拍摄，而不是从空间或高海拔拍摄，3DeepCT被训练到其中。透视最低点图7. AirMSPI云恢复。第一行：3DeepCT模型4的3D恢复;散点图与基于物理的逆散射的比较。第二行：最低点视图的交叉验证基于物理学的逆散射左侧图像显示在绿色通道中;3DeepCT结果以洋红色显示;辐射率的交叉验证像素值的散点图地点和时间这使得每个NN能够专注于所提到的主要未知数。可能地，可以发现单个NN架构对地面反照率和太阳角度不敏感，使得训练更有效。在[36]中包含描述符可以是一种方法。使用更多样化的数据来丰富训练有望不断改进系统。此外，我们相信迁移学习可以带来巨大的好处.这将允许先前训练的模型重新配置为新的太阳角度，视点方向和成像系统。其他科学领域可以从我们的方法中受益。这可以帮助解决复杂的任务，其中存在基于物理的数据集，并且最先进的重建的计算复杂性很高。鸣谢：我们感谢Ilan Koren、Orit Altaratz和Roi Ronen的有益讨论和良好建议。我们感谢Aviad Levis和JesseLoveridge提供了pySHDOM代码，并对有关它的问题做出了回应。我们感谢Johanan Erez、Ina Talmon和Daniel Yagodin的技术支持。我们感谢匿名评论者的有用评论。Yoav Schechner是以色列理工学院的Mark和DianeSeiden科学主席他是陶博基金会支持的他的工作在Ollendorff Minerva中心进行Minvera由BMBF资助。该项目获得了欧洲研究委员会（ERC）在欧盟地平线2020研究和创新计划（CloudCT，赠款协议编号：2020）下的资助。810370）。Z [km]3DeepCT [km−1]3DeepCT最低5680引用[1] Amit Aides，Aviad Levis，Vadim Holodovsky，Yoav YSchechner，Dietrich Althausen，and Adi Vainiger.分布式天空成像辐射测量和层析成像。在ICCP，第1-12页，2020年。二、三、八[2] Derya Akkaynak、Tali Treibitz、Tom Shlesinger、YossiLoya、Raz Tamir和David Iluz。水下计算机视觉中衰减系数的空间是什么？在CVPR会议记录中，第4931-4940页，2017年。2[3] Jose 'Baruchel，Jean-Yves Buffiere和Eric Maire。材料科学中的X射线层析成像。Hermes Science Publica- tions，Paris（France），2000. 1[4] SandrineBony，Bjorn Stevens，Dargan MW Frierson，Chris tian Jakob ， Masa Kageyama ， Robert Pincus ，Theodore G Shepherd ， Steven C Sherwood ， A PierSiebesma，Adam H Sobel，et al.云、环流和气候敏感性。Nature Geoscience，8（4）：261-268，2015. 2[5] David Boublil、 Michael Elad 、 Joseph Shtok 和 MichaelZibulevsky。使用神经网络的计算机断层扫描中的空间自适应重建。IEEE Transactions on Medical Imaging，34（7）：1474-1485，2015。1[6] Olivier Boucher ， David Randall ， Paulo Artaxo ，ChristopherBretherton ， GragamFeingold ， PiersForster ， V-M Kerminen ， Y Kondo ， H Liao ， ULohmann，et al.云和气溶胶。2013年气候变化：物理科学基础。第一工作组对政府间气候变化专门委员会第五次剑桥大学出版社，第571-657页，2013年。2[7] Yan-Pei Cao，Zheng-Ning Liu，Zheng-Fei Kuang，LeifKobbelt，and Shi-Min Hu.学习用级联的全卷积网络重建高质量的3D形状。在ECCV会议记录中，第616-633页，2018年。1[8] Paulo Ceppi、Florent Brient、Mark D Zelinka和Dennis LHartmann。云反馈机制及其在全球气候模式中的表现。Wiley跨学科综述：Climate Change，8（4）：e465，2017. 2[9] 苏布拉马尼扬·钱德拉塞卡辐射转移。牛津大学出版社，牛津（英国），1950年。2[10] Chengqian Che ， Fujun Luan ， Shuang Zhao ， KavitaBala，and Ioannis Gkioulekas.基于学习的逆子表面散射。在ICCP，第1-12页，2020年。二四六七[11] 陈志勤和张浩。学习生成式形状建模的隐式字段。在CVPR会议记录中，第5939-5948页，2019年。1[12] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3D-R2 N2：用于单视图和多视图3D对象重建的统一方法。参见ECCV，第628-644页。施普林格，2016年。1[13] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3D U-Net：从稀疏注释学习密集体积分割。医学图像计算和计算机辅助干预，第424-432页。施普林格，2016年。1[14] CMV4000传感器。https://ams.com/cmv4000网站。三、六[15] CCornet，LC-Labonnote和Fre'd e' ricSzczap。三维偏振蒙特卡罗大气辐射传输模型（3DMCPOL）：对卷云的偏振可见光反射率的 3D 影 响 Journal of Quantitative Spectroscopy andRadiative Transfer，111（1）：174-186，2010. 3[16] 科里·戴维斯克劳迪娅·埃姆德罗伯特·哈伍德。多云大气中毫米波和亚毫米波被动遥感的三维极化逆蒙特卡罗辐射传输模式IEEE Transactions on Geoscience and RemoteSensing，43（5）：1096-1101，2005. 二、三[17] 放大图片作者：David J. Diner，Feng Xu，Michael J.约翰·加雷作者： Brian E. Rheingans，Sven Geier， ABDavis，B. R. Hancock，V. M. Jovanovic和M. A. Bull.机载多角度分光偏振成像仪（airmspi）：气溶胶和云遥感的新工具。大气测量技术，6（8）：2007，2013. 7[18] AdrianDoicu ， DmitryEfremenko ， andThomasTrautmann.大气辐射传输