基于Fisher信息制导的飞行时间成像

16334基于Fisher信息制导的飞行时间成像李佳曲，陶岳，赵思杰，胡雪梅南京大学电子科学与工程学院jqli@smail.nju.edu.cn，yuetao@nju.edu.cn，sjzhao@smail.nju.edu.cn，xuemeihu@nju.edu.cn摘要间接飞行时间（ToF）成像被广泛应用场景差分物理成像模型灯光衰减区测量双分支神经网络潜水深度在实践中，由于其在成本和空间上的优势，功率约束正约束解决方案然而，由于测量信噪比较低，导致ToF成像误差较大，特别是在环境光较强或距离较远的场景下。在本文中，我们提出了一个费舍尔信息指导的框架，以联合优化编码功能（光调制和传感器解调功能），调制参数解调参数带宽限制基本正弦函数噪声学 习 的编 码 函数GroundTruthiToF成像的重建网络，具有所提出的鉴别Fisher损失的监督。通过引入考虑各种实际因素和约束条件的物理成像过程的可微建模，可学习的编码函数判别性Fisher损失随着距离的光衰减，编码功能的物理可实现性其次是一个双分支深度重构神经网络，所提出的方法可以学习最佳的iToF成像系统在端到端的方式。仿真和样机实验验证了该方法的有效性1. 介绍飞行时间（ToF）成像可以测量场景的深度，并且已经广泛应用于自动驾驶、人脸识别、3D传感、增强/虚拟现实等。从工作原理上讲，ToF成像可分为直接ToF（dToF）和间接ToF（iToF）。与需要高精度脉冲光源和传感器的dToF成像不同，iToF成像将深度信息编码在连续调制光的相位中，因此在实践中具有低得多的成本和更高的空间分辨率。现有的iToF成像受到测量的低信噪比（SNR）的影响[13，19]，特别是对于强环境光或大距离衰减的情况采用更高能量的光源、增加曝光时间或捕获更多的测量值可以帮助提高检测的SNR，同时以增加功耗或采集时间为代价。最近，Suet al. [31]提出了一种ToF重构网络，通过后处理来提高对噪声的鲁棒性，而不考虑编码方案的影响古普塔调制1解调1解调2 解调3解调4图1.所提出的Fisher信息引导的学习iToF成像框架的概述。我们提出了一种具有可学习编码函数的差分物理成像模型，并在所提出的鉴别Fisher损失的指导下，编码函数和双分支深度重建神经网络可以同时优化，并达到最先进的性能，特别是在低信噪比的情况下。等 人 [8] 和 Gutierrez-Barraganet al. [9] 设 计 了 一 系 列Hamilton编码函数，其性能优于常用的正弦和平方编码函数。然而，由于小噪声的基本假设，它们在低信噪比情况下的性能仍然受到限制。在本文中，我们提出了一个信息论指导的框架，以联合优化编码函数和iToF成像的重建神经网络，并提出了判别式Fisher损失，如图1所示。具体来说，我们制定了iToF成像过程与差分物理成像模型与可学习的编码功能，考虑到物理实现的限制。在成像模型之后，提出了一种双分支深度重建神经网络，所提出的方法可以以端到端的方式优化整个iToF在对iToF成像系统进行训练后，构建了一个原型iToF成像系统，并利用优化后的编码函数和重构网络实现了抗噪iToF成像通过费希尔制导损失+判别损失+保真度损失16335通过与现有技术方法的仿真和实验比较，我们证明了所提出的学习iToF成像的优越性。我们特别作出以下贡献：• 我们提出了一种Fisher信息引导的学习框架，以端到端的方式训练iToF成像系统的编码函数和重构神经网络• 我们在前向模块中对iToF成像的物理约束进行建模，可以学习物理可实现的调制和解调函数。• 我们约束的编码功能与建议的歧视费舍尔损失，以最大限度地提高深度的信息，可以编码的iToF成像的编码功能。• 我们建立了一个原型iToF成像系统与学习的最佳编码功能，并验证了国家的最先进的性能，所提出的iToF成像方法，无论是在模拟和实际捕获的数据。2. 相关工作iToF成像。在高SNR场景下，采用正弦或平方函数作为编码函数的传统iToF相机[10，20]可以实现高精度。然而，传统iToF相机的重建误差随着SNR降低而增加。代替提高传感器设备性能，修改编码函数是低成本且易于实现的。 这些年来已经提出了各种工作来设计用于ToF成像的不同编码功能。Payne等人[27]提出减小正弦和平方函数的占空比，以减小测量线性度误 差 ， 抑 制 混 叠 谐 波 分 量 。 Grootjans 等 人 [7] ，Kadambiet al. [16]提出了伪随机二进制编码序列以减少串扰，解决多径干扰。最近，在所提出的编码空间理论下提出了哈密顿编码函数[8，9]，这可以大大提高iToF成像的深度成像精度。同时，针对深度重建提出了不同的对应ToF深度重建算法，从N步相移算法[10] 、 多 频 正 弦 算 法 [28] 、 零 均 值 归 一 化 互 相 关（ZNCC）[22]到当前基于深度学习的重建算法[5，31]。虽然在深度成像方面取得了很大进展，但现有iToF成像方案在低SNR下的深度准确性仍然非常有限，我们提出了一种基于深度神经网络的数据驱动优化框架，可以优化物理可实现的ToF编码功能，特别是在低SNR场景下。端到端成像。随着深度学习的发展，联合优化成像光学系统和重建算法的端到端方法已经在单目深度估计[3]、自适应激光雷达[2]、高动态范围成像[21，32]、扩展景深成像[6，30，33]、超光谱成像[25]、3D局部化显微镜[24]等方面获得了广泛关注并显示出有希望的改进。在ToF成像中，Chugunovet al.[5]提出联合学习微透镜振幅掩模图案和编码器-解码器网络以校正深度图中的飞行像素。受这些工作的启发，我们建议优化iToF成像的编码函数以及深度重建。通过建立具有物理约束的可微分ToF成像模型，可以联合优化调制解调函数和基于CNN的深度重建算法，实现高深度精度。Fisher信息导引成像系统设计。Fisher信息度量可观测随机变量χ携带的关于对χ进行建模的分布的未知参数θ的信息量，使得其可用于成像系统设计。对于具有高深度精度的快照3D显微镜成像，Shechtman等人[29]提出通过最大化Fisher信息来优化瞳孔相位。Chao等人[4]提出了利用Fisher信息对单分子进行定位，以实现弱光下的显微成像Wu等[34]提出用Fisher信息优化相位掩模，用于被动单视图深度估计。Fisher信息已经显示出有前途的性能，这在iToF成像领域从未被探索过。此外，由于对于iToF成像，深度提取通常需要多于一个测量，因此我们进一步引入辨别损失以最大化编码函数之间的差异。通过Fisher引导损失和区分损失的监督，可以学习编码函数以优化编码深度信息的效率。3. Fisher引导的可学习iToF框架我们提出了一个信息论指导的优化框架，以优化编码功能和重建网络的计算iToF成像系统联合。通过引入考虑各种实际因素和约束的可微物理过程建模以及双分支神经网络，所提出的方法可以以端到端的方式优化整个iToF系统。3.1. 渔民信息指南Fisher信息通常被用作观测变量中包含的关于未知参数的信息在不考虑复杂先验的情况下，最优测量方案应具有最大的Fisher信息。因此，自然地使用Fisher信息作为优化iToF系统的指导。16336我.Σ22我PR我Y..Σ我我+σ2（p）为了推导iToF测量方案的Fisher信息，我们需要首先研究测量方案的信号和噪声分布。通常，在场景点p上的iToF系统Xi的测量可以被划分为：Xi（p）=Si（p）+N暗+N读出，（1）其中S（p）= P（s（p））是深度相关光学信号。由于xi（p）<$N（μi（p），σ2（p）），即E{xi（p）−μi（p）;z（p）}= 0，（6）E [xi（p）−μi（p）]; z（p）=σ（p）。（7）Eqs。4-7 ，Fisher信息是Σ2Σ∂σi(p)Σ21 中文（简体）伊茨伊茨nal遵循泊松分布，si（p）是取决于深度的Si（p）的期望，即Si（p）=我我我（八）E[Si（p）]。 Ndark （λd）是暗电流噪声，泊松分布，λd是黑暗的期望值等式2，我们可以得出，电流噪声N读出量<$N（0，σ2）为高斯分布i（p）1 <$si（p）=且μi（p）=si（p）。（九）读出噪声，其中σr是2σi（p）z读出噪声为了简化下面的推论，本文用加性高斯噪声来近似泊松噪声，即：最后，我们可以推导出观测变量关于深度的Fisher信息，即。Xi（p）<$N（μi（p），σ2（p）），我我D我我（二）DRΣΣ1我我1ΣΣ我i（p）n =2μ（p）=s（p）+λ，σ（p）=λs（p）+ λ+σ2。I（X（p）;z（p））=2σ4（p）+ σ2（p）<$z。注意，这里暗噪声和读出噪声是独立的。深度z（p）的悬垂变量，仅取决于3.2. 微分物理模型（十）检测传感器的状态。通常，对于iToF成像中的每个场景点，多个测量X（p）=[x1（p），x2（p），.，XN（p）]的调制和解调函数的不同组合来捕获。N是每个场景点的测量次数，检测这些测量值的能力是[xi（p）−µi（p）]2等式中的测量函数si（p）图10描述了在场景点P上从发射到接收的光传输的物理过程。在本文中，我们实现了这部分与可微的物理模型。因此，判别Fisher损失的计算和诱导优化可以很容易地实现。假设发射光由调制函数Mi（t）调制，P（X（p）;z（p））=1√e2σ2（p）我.（三）场景点P的反射信号是，i2πσi（p）观测变量X（p）的Fisher信息关于未知参数深度z（p），Ri（p，t）=α（p）Mi（t-n（p））+βα（p），（11）其中α（p）是由于反射引起的振幅系数I（X（p）;z（p））=− E∂2z2logP（X（p）;z（p））.（四）对于场景的亮度，β是由于其他光源引起的环境分量。是距离相关的时间延迟，光传播，即，n（p）=2z（p），其中c表示为了得到Fisher信息，我们首先计算方程的对数似然的二阶导数。3与偏导的链式法则，即n（X（p）;z（p））C光速。 考虑到光强度线性利用距离平方的倒数，这里我们进一步用公式表示测量中的光衰减Ffalloff（z）z2我我Ri（p，t）=FΣI（X（p）;z（p））=σ2（p）.−ΣΣ16337我+i i i我≥Σ衰减z（p）（z（p））α（p）Mi（t−2）+βα（p），1=σ2（p）−我3 [xi（p）−μi（p）]2σ4（p）σi（p）2伊茨C其中z是光传播的深度。（十二）.[x（p）−μ（p）]21σ2σ（p）当反射信号Ri（p，t）到达传感器时，我我σ3（p）-σi（p）我z2具有解调函数的传感器SNRi（p，t）为了导出测量值，1 Σ∂µ i(p)Σ24 [xi(p)−μi(p)]∂σi∂μi(p)∫ 不-σ2（p）<$z−σ3（p）zsi（p）=Ri（p，t）Di（t）dt，（13）[x（p）−μ（p）]2μ（p）σ2（p）z2（五）其中si（p）包含三个未知数：α（p），β，z（p），因此通常，需要N3次测量来重建深度z（p）。我我+016338CC宽/8×高/8×256C宽/8×高/8×256宽/4×高/4×128宽/2×高/2×64宽×高×32宽×高×32宽/8×高/8宽/4×高/4C宽/4×高/4×128宽/2×高/2×64宽×高×32注意力图宽/2×高/2C宽×高宽×高×4调整concate大小S.分支间特征融合注意力图深度图S测量宽×高×4宽×高×64宽×高×128.+…C…重建部门宽×高×64宽×高×4深度图上采样X2：+：+∫0i×≥我我逐点残差块信道我我可实现带宽限制的频率分解在iToF成像设备中，调制和解调功能的带宽受到信号发生器、检测器和乘法器的最小带宽的限制。为了结合带宽约束，调制/解调功能在方程。13是用一组具有不同频率的正弦波的总和来公式化的，低于带宽，nhMi（t）=am sin（2iπf0t+m）+bm，我i=1N我（十四）Di（t）=adsin（2πif0t+d）+bd，跨尺度特征融合块批3×3致密块状信道其中f0表示系统的基频卷积正常化PreluMaxpooling平均池化SSoftmaxC凹的+添加fmax=nf0是信号的带宽限制，Am，Ad，Δm和Δd是对应的幅度和相位cor-m。图2.双分支深度重建网络。我我响应于每个频率分量f1，即if0。bm和bd是调制函数Mi（t）和解调函数Di（t）的对应DC分量。 有了这个公式，我们可以优化调制和解调-在系统带宽的约束下，规范化基础物理约束。理论上，光源的功率越高，测量的信噪比越高。而在实践中，考虑到人眼安全标准和功耗约束，常见的iToF相机的光源具有有限的输出光功率。为了设计驱动光源的调制函数，我们增加了最大光功率E的约束，τM（t）dtτ≤E，（15）其中τ是Mi（t）和Di（t）的周期。 此外，Mi（t）和Di（t）要求是非负的，图2、该网络主要由两个分支组成，一个主要由金字塔多尺度神经网络组成，可以将空间结构融入深度重建中，另一个分支由基于像素的深度提取神经网络组成。空间结构提取分支（SEB）。为了利用深度图的稀疏性先验重构深度，我们构造了一个特征金字塔网络来融合空间域中的多尺度结构信息。密集块被用作特征编码和解码块。在编码器方面，我们利用三个特征提取模块，并将提取的多尺度特征进行融合，得到不同尺度的特征。解码器以由粗到细的方式构造。首先设计解码器预测最小尺度的深度图，然后利用双线性插值进行上采样，并结合更高尺度的融合特征生成放大的分辨率深度图。重复此过程以检索0 ≤Mi（t），0 ≤Di（t）≤1。（十六）最终深度图通过这种方式，小尺度深度图包含全局信息，并且不断细化以最终生成更详细的大尺度深度图。注意，在这里，在不失一般性的情况下，我们进一步确认，将解调函数的幅度限制为小于1。该约束可以通过在前向模型中添加归一化来实现，计算Eq. 13，即Di（t）=Di（t）−min{Di（t）}。max{Di（t）}−min{Di（t）}通过在方程中设置am、ab、am和ab14可学习逐像素深度回归分支（PDRB）。下分支使用具有卷积核11的残差块结构。通过单点直接映射，得到的深度图能够保留场景的细节模拟传统深度提取方法的逐像素深度回归分支函数我我我参数，并与方程中的约束一致。15、Eq.16，可以优化满足上述物理约束的调制和解调功能。3.3. 深度重建网络利用iToF成像方案，我们可以捕获一组测量值I=[I1，I2，...，IN]T（N 3）。为了从测量值重建深度，我们提出了一种双分支多尺度深度重建网络。如图所示iToF成像，即从相应的测量中提取每个像素的深度，并保证编码函数的学习的快速注意，如图2所示，为了在两个分支之间进行充分的信息融合，我们引入从SEB分支到PDRB的特征级联。然后，用这两个分支重建的深度图由相应的注意力图加权并加在一起以重建场景的深度。i=116339ΣNΣ3.4. 损失函数调制/解调函数和重构网络都是通过训练由Fisher制导损失、保真度损失和多测量判别函数损失组成的判别Fisher损失来在这里，我们提供更多关于这些损失的细节。费舍尔指导损失。给定深度z（p）上的均值si（p）的Fisher信息，我们可以推导出Fisher制导损失为：Lfisher= −Ifisher（p）。（十七）p忠诚度损失为了加强深度重建的保真度，我们提出最小化SEB分支的深度zSEB、单点映射分支zPRDB、两个分支的添加的深度zω和目标深度zgt，即增量训练法。除了图像传感器的读出噪声和暗噪声（我们假设其为常数并且在我们的实验中选择为20个电子）之外，iToF成像的SNR主要由入射光源的功率即E和环境光的功率β决定。为了训练所提出的网络实现不同噪声水平下的深度重建，我们校准了三种典型的 噪 声 场 景 ， 设 置 E 和 β 为 （ 20000 ， 6000 ） ，（14000，6000），（10000，6000），可以模拟物理实验，覆盖从低到高的大噪声水平范围。为了训练所提出的网络同时处理不同的噪声水平，我们采用了增量训练策略[1]。该网络使用不同噪声水平的输入数据进行训练，从小到大，每隔10个epoch。当遍历所有噪声水平的数据时，生成具有随机噪声水平的样本并将其馈送到网络以用于网络的收敛。我们采用ADAM [18]作为优化器，初始L忠诚=1zSeb （p）−zgt（p）2001年（十八）学习率为0的情况。01. 学习率线性衰减p+zPRDB（p）−zgt（p）<$1+z<$（p）−zgt（p）<$1多测量鉴别损失。为了进一步提高不同编码函数的效率，加强不同编码函数之间的差异，这里我们采用曼哈顿距离[14]作为区分损失，即，比率为0。每10个时期7个。λ_1和λ_2最初根据经验选择为1 e ~（-4）和1 e ~（-5），10个历元后衰减为1 e ~（-5）和1 e ~（-6）Kaiming初始化[11]用于可学习的调制和解调功能。我们在PyTorch上实现实验[26]采用NVIDIA GeForce RTX 2080 GPU。4.2. 与最先进方法的比较Ldis=−p0≤i≤N，0≤j≤Nsi（p）− sj（p）<$1。（十九）为了证明性能的优越性，我们比较了我们的方法与现有的iToF成像方法，包括传统的正弦和平方编码函数，所提出的判别式Fisher损失被构造为Fisher制导损失、保真度损失和鉴别损失的加权组合，即L DFI =L Fidelity +λ 1 L Fisher + λ 2 L dis。（二十）4. 综合评估。4.1. 实现细节数据集。我们的端到端网络中使用的训练和测试数据是NYU-V2数据集[23]。该数据集由来自464个室内场景的视频序列组成，包含1449个密集标记的对齐RGB和深度图像对。对应于深度图的场景的RGB可以用于在本征分解之后生成场景的RGB图[15]。在不损失一般性的前提下，我们选择RGB图像内部分解后的R通道作为方程中的插值α（p）。11个国家。 类似到[12，17]，我们对1000对RGB-D图像进行采样用于训练，其余449对用于测试。我们根据通常采用的实际带宽来设置带宽限制，具体地，我们设置50 MHz为基本频率，250 MHz为带宽限制。使用常规相移（PS）算法[10]、DeepToF方法[31]和最近提出的Hamilton iToF成像方法[9]进行的测量不失一般性，我们的方法使用一个调制函数和四个解调函数。图3中示出了三种不同的噪声场景，从低噪声水平到高噪声水平，并且我们的方法表现最好。不同方法的定性结果也显示在表中。1（a），并且我们的方法能够在不同的噪声水平上重建最低均方误差（MAE）的深度。为了进一步证明学习的编码函数的优越性，我们将我们的方法与其他编码函数进行了比较，包括正弦曲线，方波，双频正弦曲线（50 MHz和200 MHz），实际Hamilton函数[9]，具有相同的重建神经网络，即建议的深度重建神经网络。定量和定性结果见图4和表4。第1段（b）分段。可以看出，学习后的编码函数可以实现最佳性能，并且改进很大，特别是在高噪声水平下，进一步证明了学习后的编码函数的噪声鲁棒性。为了证明所提议的双-16340（一）（b）第（1）款（c）第（1）款场景GT正弦曲线+PS方形+PS汉密尔顿Sine +DeepToF我们图3.与其他iToF方法的总体比较，即Sine/Square + PS算法[10]，Hamilton [9]和Sine + DeepToF [31]。分支神经网络与现有的基于深度学习的ToF重建网络，即DeepToF [31]和Mask-ToF [5]。我们使用相同的学习编码函数并重新训练这些神经网络，性能比较如图所示5、Tab第1段（c）分段。通过比较，验证了双分支深度重构神经网络的有效性.4.3.消融研究重建网络。我们设计了消融实验，以评估所提出的重建网络，如表1所示。二、首先，我们测试了所提出的PDRB的有效性，这可能有助于提高MAE除了利用空间结构与SEB的性能。然后，通过对PDRB和SEB级联网络（PDRB + SEB）的训练和测试，进一步证明了所提出的SEB和PDRB并行结构通过与仅使用SEB或级联结构的方法进行比较，证明了该网络的深度重建有效性。判别性Fisher损失除了保真度损失外，我们还提出了Fisher制导损失，表1.针对第2列至第4列的三种不同噪声设置，即（E，β）等于 （ 20000 ， 6000 ） 、 （ 14000 ， 6000 ） 和 （ 10000 ，6000），在总体性能、编码函数和重建方法具有区别性损失，这可以极大地促进在寻找最佳编码函数时的收敛，并且实现高质量的深度精度。如Tab.所示。2、将Lfisher和Ldis相结合，得到了最高的深度精度。我们进一步比较(a)整体性能MAE（mm）[10]第十届全国人大代表181.192244.679314.793[10]第十届全国政协委员112.828158.641213.963汉密尔顿[9]97.265148.463208.339DeepToF [31]42.12459.79898.230(b)编码功能MAE（mm）正弦曲线25.02443.43885.957双频正弦波13.67917.71041.038平方23.23140.73173.994汉密尔顿[9]14.41317.82030.121(c)恢复方法MAE（mm）MaskToF [5]22.47426.06832.993DeepToF [31]23.85834.07679.86216341（一）（b）第（1）款（c）第（1）款场景GT正弦方双正弦汉密尔顿我们的图4.深度成像性能比较与不同的编码功能与建议的双分支深度重建网络。最右边的一列显示了沿着地面实况深度图像中标记的绿线重建的深度值（一）（一）（b）第（1）款（c）第（1）款（b）第（1）款场景GT DeepToF MaskToF我们的图5. 与其他深度重建网络相比，即DeepToF [31]和MaskToF [5]具有和不具有所提出的两个损失函数的所提出的方法的深度误差的统计分布即LFisher和Ldis。如图6所示，在只有保真度损失的情况下，深度误差远高于建议的损失（c）第（1）款图6.使用（w/）和不使用（w/o）Fisher的消融研究特别是在较高的深度范围，进一步表明拟议的fisher指南的有效性。噪声背景（E，β）的信息引导损失和辨别损失：（a）（20000，6000），（b）（14000，6000），（c）2.302.18汉密尔顿我们的GT正弦平方和双正弦2.071.951.621.571.531.481.84汉密尔顿我们的GT正弦平方和双正弦1.77汉密尔顿我们的GT正弦平方和双正弦1.711.641.651.57汉密尔顿我们的1.48GT正弦平方1.40双正弦1.050.950.850.75汉密尔顿我们的GT正弦平方和双正弦1.301.211.111.02汉密尔顿我们的GT正弦平方和双正弦24001950w/oLdis+Lfisherw/L dis+LfisherGroundtrut150010506000 600 1050 1500 1950 2400深度（mm）2400不含Ldis+L Fisherw/Ldis+L Fisher小行星1950150010506000 600 1050 1500 1950 2400深度（mm）24001950w/oLdis+Lfisherw/L dis+LfisherGroundtrut150010506000 600 1050 1500 1950 2400深度（mm）30w/oLdis+LFisher25w/Ldis+LFisher20151050600 1050 1500 1950 2400深度（mm）2520不含Ldis+L Fisherw/Ldis+L Fisher151050600 1050 1500 19502400深度（mm）3025不含Ldis+L Fisherw/Ldis+L Fisher20151050600 1050 1500 1950 2400深度（mm）焊接深度（mm）焊接深度（mm）焊接深度（mm）深度误差深度误差深度误差16342（10000，6000）。16343提出的方法的有效性。如图8所示，我们进一步在不同噪声水平下对不同场景进行深度成像，深度重建结果由于大噪声而有噪声，而所提出的方法与现有技术方法相比具有更小的噪声影响和平滑度的表2.不同噪声设置的消融研究的定量比较，噪声设置与表1相同。1.一、5.物理实验结果原型系统。为了演示我们的方法，220160220165220物理实验中，我们建立了一个原型系统，可以实现任意编码功能的iToF成像。学习的调制和解调函数由函数信号发生器（DG5252，Rigol）产生。采用最大功率 为 200mw 的 638nm 半 导 体 激 光 器 （ L638P200 ，Thorlabs公司）作为光源场景方形+PSSine + DeepToFHamilton我们170220165源头通过偏置T耦合电路（LDM 56，Thor-labs），可以通过学习的调制函数对激光进行调制我们用振镜系统（GVS 012，Thorlabs）扫描场景。反射光由透镜（ AF NIKKOR ， Nikon ） 聚 焦 到 雪 崩 光 电 二 极 管（APD 430A，Thorlabs）上。APD将反射光转换为电信号。然后，转换后的信号是multiple- plied与学习解调功能与乘法器（AD 835，ADI公司），并输出进一步 放 大 （ OPA 847 ， TI ） 和 低 通 滤 波 （ EF 110 ，Thorlabs）。最后，通过ADC（ADS112C04，TI）对模拟信号进行采样、量化和转换成数字值。系统的扫描和采集由微控制器（STM32F103，ST）控制7 .第一次会议。图8.物理实验中的性能比较。6. 讨论在本文中，复杂的照明环境与变化的环境光源分布没有考虑在我们的物理成像模型。然而，本文提出的信息引导的iToF成像框架，可以直接在物理模型中对环境光分布进行建模，并通过绘制不同复杂环境光分布的训练数据集，端到端地学习复杂环境光环境下的最优iToF成像模型，我们将此工作作为我们未来的工作。至于我们的方法的片上实现，我们将探索DDS芯片（AD9954，ADI）或DAC + FPGA，加上一个波形处理电路，实现学习的编码功能。7. 结论总之，我们提出了一个信息论指导的框架，以优化编码功能和iToF成像的双分支重建网络联合。具体而言，我们制定了具有物理实现约束的差分成像模型，并提出了用于深度重建的双分支深度神经网络。（（通过提出的鉴别Fisher损失和端到端网络训练，我们可以找到最佳编码函数，图7.实验系统，（a）-（c）顶视图、前视图、侧视图。试验结果通过调节光源的输出功率和附加的环境光源功率，我们可以在大范围的噪声水平下捕获图像。为了定性地证明所提出的方法的优越性 如图8所示，不同方法的MAE从左到右分别为10.79 cm、4.23 cm、7.06 cm和1.66 cm，我们的方法的深度误差最小，证明了该方法的有效性。大噪声下的网络重构。该方法得到了大量的定性和定量结果，并在此基础上构建了原型iToF成像系统，通过物理实验验证了该方法的有效性.8. 致谢本工作得到了国家自然科学基金项目61971465和中央大学基础研究基金（批准号：2000000000）的资助。0210-14380184）。振镜扫描器任意信号发生器激光二极管电源分光镜（透镜ADC激光驱动器温度控制器APD微控制器低通滤波器乘法器深度[cm]深度[cm]深度[cm]深度[cm]消融MAE（mm）Seb33.32731.98745.048级联结构23.88232.41144.479L显示+L保真度40.99751.537115.435LFisher+L保真度64.29173.966143.629L保真度24.99024.11928.818我们12.85713.76318.26416344引用[1] YoshuaBengio ， Je´ ro meLouradour， RonanCollobert ，andJa-son Weston. 课 程 学 习 。 在 Proceedings ofInternational Conference on Machine Learning，第415[2] 亚历山大·W·伯格曼，大卫·B·林德尔，戈登·维特-zstein。深度自适应激光雷达：在低采样率下对采样和深度完成进行端到端优化在IEEE计算摄影国际会议的开幕式上，第1-11页，2020年。2[3] Julie Chang和Gordon Wetzstein深光学用于单片更大深度估计和3D对象检测。在IEEE计算机视觉国际会议论文集，第10193-10202页2[4] Jerry Chao，E Sally Ward，and Raimund J Ober. Fisher用于单分子显微术的EMCCD成像的信息。IEEETheAsilomarConferenceonSignals，SystemsandComputers，第1085-1089页，2010年。2[5] Ilya Chugunov，Seung-Hwan Baek，Qiang Fu，Wolfgang海德里希和菲利克斯·海德。Mask-tof：学习用于飞行时间成像中飞行像素校正的微透镜掩模。在IEEE计算机视觉和模式识别会议论文集，第9116-9126页二六七[6] Shay Elmalem，Raja Giryes，and Emanuel Marom. 了解到相位编码孔径有利于景深扩展。Optics Express，26（12）：15316-15331，2018。2[7] R Grootjans，W Van der Tempel，D Van Nieuwenhove，C deTandt，and M Kuijk.使用伪随机二进制序列的飞行时间测距相机的改进调制技术。在IEEE激光和电-光学学会，第217页，2006年。2[8] Mohit Gupta，Andreas Velten，Shree K Nayar，和EricBreitbach.飞行时间成像的最佳编码函数是什么？ACMTransactions on Graphics，37（2）：1 一、二[9] Felipe Gutierrez-Barragan ， Syed Azer Reza ， AndreasVelten，还有莫希特·古普塔实用的飞行时间成像编码函数设计。在IEEE计算机视觉和模式识别会议论文集，第1566- 1574页一、二、五、六[10] Miles Hansard，Seungkyu Lee，Ouk Choi，and RaduHoraud.飞行时间相机：原理，方法和应用，2012年。二、五、六[11] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.深入研究整流器：在imagenet分类上超越人类水平的性能。在IEEE计算机视觉国际会议论文集，第1026-1034页，2015年。5[12] 何凌志，朱宏光，李峰，白慧慧，润民Cong，Chunjie Zhang，Chunyu Lin，Meiqin Liu，andYao Zhao.迈向快速准确的真实世界深度超分辨率：基准数据集和基线。在IEEE计算机视觉和模式识别会议论文集，第9229-9238页，2021年。5[13] 7月，伊拉德-昆特罗，V'ıctor M Brea，Paula L' pez，DiegoCabello和GinesDom e'nech-Asensi。散粒噪声引起的飞行时间传感器的距离测量MDPI传感器，15（3）：4624-4642，2015年。1[14] Herve Jegou Hedi Harzallah和Cordelia Schmid一个上下文相异度测量准确和有效的图像搜索。IEEE计算机视觉和模式识别会议论文集，第1-8页，2007年5[15] Junho Jeon，Sunghyun Cho，Xin Tong，and Seungyong Lee.使用结构纹理分离和表面法线的内在图像分解。欧洲计算机视觉会议论文集，第218-233页。Springer，2014. 5[16] 阿楚塔·卡丹比 拉斐尔·怀特 Ayush Bhandari，LeeStreeter ， Christopher Barsi ， Adrian Dorrington ， andRamesh Raskar.编码飞行时间相机：稀疏解卷积解决多径干扰和恢复时间剖面。ACM Transactions on Graphics，32（6）：1-10，2013。2[17] 金范俊，让·庞塞和范燮·汉姆。可变形核网络用于联合图像滤波。国际计算机视觉杂志，129（2）：579-600，2021。5[18] Diederik P Kingma和Jimmy Ba。亚当：一种方法随机优化arXiv预印本arXiv：1412.6980，2014。5[19] 罗伯特·兰格 3D飞行时间距离测量CMOS/CCD技术的定制固态图像传感器。2000. 1[20] 罗伯特·兰格和彼得·塞茨固态飞行时间测距照相机IEEE Journal of Quantum Electronics，37（3）：390-397，2001. 2[21] Christopher A Metzler ， Hayato Ikoma ， Yifan Peng ， andGor-韦茨斯坦先生。用于单次高动态范围成像的深层光学器件。 In Proceedings of the IEEE Conference计算机视觉和模式识别，第1375- 1385页，2020年。2[22] Parsa Mirdehghan，Wenzheng Chen和Kiriakos N Kutu-拉科斯最佳结构光点菜。 在IEEE计算机视觉和模式识别会议论文集，第6248-6257页，2018年。2[23] Pushmeet Kohli Nathan Silberman、Derek Hoiem和Rob费格斯。室内分割和支持从rgbd图像推断。欧洲计算机视觉会议论文集。Springer，2012. 5[24] Elias Nehme Daniel Freedman Racheli Gordon Boris Ferdman，Lucien E Weiss，Onit Alalouf，Tal Naor，ReutOrange，TomerMichaeli，andYoavShechtman.Deepstorm3d：基于深度学习的密集3d定位显微镜和psf设计。Nature Methods，17（7）：734-740，2020. 2[25] Shijie Nie，Lin Gu，Yinqiang Zheng，Antony Lam ，Nobutaka Ono，and Imari Sato.深入学习高光谱重建的滤波器响应函数。在IEEE计算机视觉和模式识别会议论文集，第4767-4776页，2018年。2[26] 亚当·帕斯克 山姆·格罗斯 格雷戈里？苏米特？钦塔拉Chanan，Edward Yang，Zachary DeVito，Zeming Lin，Al-ban Desmaison ， Luca Antiga ， and Adam Lerer.pytorch中的自动微分。2017. 5[27] Andrew D Payne，Adrian A Dorrington和Michael J Cree。飞 行 时 间 距 离 成 像 相 机 的 照 明 波 形 优 化 。 在Videometrics，Range Imaging，and Ap- plications XI，第8085卷，第80850 D页。国际光学与光子学学会，2011年。2[28] Andrew D Payne，Adrian PP Jongenelen，Adrian A Dorr