没有合适的资源?快使用搜索试试~ 我知道了~
2692时间复用编码孔径成像:压缩成像系统的学习编码孔径和像素曝光Edwin Vargas1,J.,Julien N.P.Martel2,*,Gordon Wetzstein2,HenryArguello11哥伦比亚桑坦德工业大学2美国斯坦福大学correo.uis.edu.co,[jnmartel,gordonwz]@stanford.edu,henarfu@uis.edu.co摘要模拟编码器培训数字解码器训练和推理使用编码孔径(CA)的压缩成像是一种强大的技术,其可以用于从单个快照恢复深度、光场、高光谱图像和其他量基于CA的压缩成像系统的性能主要取决于两个因素:掩模的衰减模式的特性在或真实场景推理光学元件实样机推理反向传播重建高光谱图像、光场等在这项工作中,我们引入了使用时变CA与空间变化像素快门同步的想法。我们将传感器的曝光划分为子曝光,在子曝光的开始,CA掩模改变,并且传感器这是实际上有吸引力的编码,因为它不引入除了已经存在的CA之外的附加光学部件我们表明,我们提出的时分复用编码孔径(TMCA)可以端到端优化,并诱导更好的编码快照,从而在两种不同的应用中实现卓越的重建:压缩光场成像和高光谱成像。我们在模拟和实际捕获(采用我们构建的原型)中证明,这种编码在这些应用中的表现优于最先进的压缩1. 介绍结合硬件和算法的协同设计的计算成像技术已经成功地使新型相机的开发成为可能,用于多种应用,例如光谱成像[2]、深度成像[11]、光场成像[35]或计算机断层扫描[25]。其中,特别是压缩成像[13]方法,其目的是在单个快照中多路复用视觉信息,已经被普及以重建高动态范围图像、视频、光谱或深度信息。*表示等额缴款。高光谱光场图1.所提出的端到端可区分流水线中的所提出的时分复用编码孔径(TMCA)编码的图示我们还显示了编码的快照和重建的例子,我们的压缩光场和高光谱成像,ING应用。[36,58,12]。 他们使用光学和电子编码-使用策略对光进行编码,并使用基于物理学的for-ward模型以及优化技术来重构上述视觉量。除了它们恢复传统相机不容易访问的视觉信息的能力之外,压缩成像系统的另一个优点是它们可以实现稀疏测量,例如捕获单个编码快照以恢复整个光场。这通常产生不适定的重构问题,然而可以通过利用关于信号的稀疏性的知识并使用关于视觉量的其他先验来重构来解决该问题为了最佳的重新-时间复用编码孔径=编码+编码(TMCA)孔径快门2693在构造中,压缩感测理论通常假设密集的不相关测量矩阵。然而,这是很少的情况,因为这些测量矩阵是由设计约束和光学和电子编码的物理实现引起的因此,这些矩阵几乎总是稀疏的和高度结构化的,从而影响压缩成像系统的性能。因此,完善这些制度的主要杠杆是完善其法典化。特别地,许多压缩成像系统采用编码孔径(CA)掩模作为编码元件[44,29,51,45,35,3,5]。CA是插入光学系统中以空间调制光强度的物理组件。作为示例,[52,2]中提出的编码孔径快照光谱成像系统(CASSI)在CA后面采用色散元件,用于选择得到光谱色散的空间位置这些CA可以使用便宜的技术(如石英上的铬)来制造,然而,创建多值颜色代码,产生更好的重建,需要昂贵的微光刻和涂层技术[3]。示出在压缩成像中使用CA掩模的又一示例是在光场的重构中 , 例 如 通 过 使 用 插 入 在 传 感 器 和 物 镜 之 间 的CA[35]。在该系统中,测量矩阵中的相关性由角度视图之间的相似性产生,并且通常限制光场重建的质量这两个例子说明了需要CA系统,产生更好的编码,仍然是容易和廉价的实施。这项工作解决了这一挑战,提出了一个新的编码,我们称之为时间复用编码孔径(TMCA)。它导致这些测量矩阵的更好的调节,并且可以使用在压缩成像系统中广泛使用的所提出的TMCA包括使用传统的振幅CA以及编码曝光。编码曝光是传感器的像素的时间调制在编码曝光中逐像素快门可以通过电子方式修改像 素 架 构 [34 , 53 , 32 , 50] 或 使 用 空 间 光 调 制 器(SLM)[20]来实现 更具体地说,我们通过同步CA来生成TMCA,所述CA在时间上改变其模式-被我们表明,这种组合产生了一个新的CA家族,具有更好的编码能力,我们在两个特定的压缩成像应用中证明了这一点:高光谱成像和光场成像。此外,我们建议学习TMCA编码,其灵感来自深度光学中的工作[34,11,36,57,40,55]。我们执行TMCA码的联合优化以及用于恢复光场或高光谱图像的神经网络(NN)。我们的端到端(E2 E)可区分方法可以被解释为考虑到实现CA的空间光调制器和实现编码曝光的传感器的特定约束,经过培训后,优化的TMCA代码可以部署到可用于捕获真实世界场景的物理设备上。我们将我们工作的贡献总结如下:• 我们介绍了一种新的编码压缩成像系统称为时间复用编码孔径(TMCA)。• 我们基于以下两种应用开发了新的正演模型:高光谱成像和压缩光场成像。在第一种情况下,我们示出TMCA模拟昂贵的滤色器阵列,而在第二种情况下,TMCA是角度敏感的CA,导致在角度视图的编码中的相关性较小。• 我 们学 习, 在 模拟 中, 可 微光 电编 码器 实 现的TMCAs以及一个NN解码器解决重建问题。我们证明,学习的代码比较有利的基线,使用传统的CA,以及对我们自己的TMCA基线使用非优化的代码。• 我们建立了两个原型:压缩光场成像系统和超光谱成像器。我们将学习到的TMCA代码转换为硬件,并进行真实的实验,显示TMCA在模拟转置到现实世界的系统中的更好的结果2. 相关工作编码孔径系统采用精心设计的掩模图案来编码入射光。它们可以被认为是针孔阵列,其被开发以改善单个针孔相机的光效率。基于CA的系统被广泛用于天文学或生物医学应用中,其中由于起作用的波长而不能容易地制造透镜[14,15]。通过CA捕获的编码快照可以使用计算技术进行解码,以提供清晰,干净的图像。最近的工作已经考虑了用于开发用于深度成像[29]、运动去模糊[44]、无透镜成像[59,5]、高动态范围[39]、视频成像[33]的新颖图像采集技术的CA方法此外,压缩感测方法也已经与CA联合使用:例子包括光谱成像[52,3]、双重摄影[46]、光场成像[35]或图像超分辨率[37]。所有这些应用中的重建质量主要取决于2694CA。因此,我们的工作可以很容易地适应任何这些应用程序,我们相信,将直接改善他们。在这里,我们选择集中在高光谱成像和光场成像。高光谱成像(HSI)旨在捕获具有大量光谱通道(超过三个典型的红,绿,蓝波段)的图像[27]。HSI有三种主要方法:计算机断层摄影成像、光谱扫描和快照压缩成像。基于诸如棱镜或衍射光栅的色散光学元件,基于扫描的方法可以通过狭缝隔离地捕获每个波长的光:称为拂帚式或推帚式扫描仪[8,43]。而Se扫描方法产生高的空间和光谱分辨率,森它们通常比其它方法慢。引入计算机断层扫描成像光谱法[17,23,41它采用衍射光栅,该衍射光栅将入射的准直光衍射成不同方向上的图案,即使这样的系统可以是实时的,但这是以空间分辨率为代价的。最后,还引入了编码孔径快照光谱成像(CASSI)方法[51,12,7类似于其他压缩成像技术,这些压缩成像技术受到编码属性以及它们使用的重建算法的限制。我们的工作解决了这些限制,引入了一种新的编码策略,并以端到端的方式学习代码光场成像旨在捕获在空间中的任何点中通过每个方向的光的量,实际上通过不同的“角度视角”来表示场景早期的光场(LF)相机原型使用使用针孔或微透镜阵列的胶片传感器[22]。最近,相机阵列[54,56,30,31]提高了LF捕获的质量。然而,这些方法可能需要多个相机和快照,并且通常是不切实际的或构建昂贵的。使用压缩感测,已经提出了LF架构,其目标是获取更少的快照[4,6,35]。Marwah等人[35]首先介绍了编码光场摄影(CLFP),其中光场可以从单个编码测量中恢复,该测量是通过在传感器和物镜之间插入CA获得的。Hirsch等人[19]提出了使用角度敏感像素(ASP)的另一种编码解决方案,其已经被证明可以改进CA方法(例如[ 35 ])上的测量矩阵的调节。这种方法的局限性在于它使用具有给定角度和频率响应的ASP的特定传感器。我们的工作允许使用CA生成类似的编码,改善重建,但使用更灵活的codifica- tions(它们可以改变)和硬件。端到端优化以及光学和算法的协同设计是计算摄影的核心图2.使用TMCAs的光场成像(左)和高光谱成像(右)系统的射线光学图。自动微分编程工具[42,1]能够实现完全可微分的流水线,并且已经用许多应用推动了这个概念,例如彩色成像和去马赛克[9],扩展景深成像[49],深度成像[11,18,57],图像分类[11,18,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19,19成像[10,38],HDR成像[36],显微镜[40,26]。我们的工作建立在端到端优化技术的基础上,在[ 34 ]的路线中,它不仅优化了光学编码,而且优化了传感器本身的一部分:编码的曝光以及用于重建的NN。3. 时分复用编码孔径所提出的TMCA的原理包括使时变CA与实现编码曝光的快门功能同步。该思想可以用于实现不同的系统,这取决于与其耦合的光学装置的特性,即如图1所示的CA和传感器之间的光学元件。首先,我们提出了一般的正演模型和编码诱导的TMCA。然后,我们描述了如何将此模型用于使用不同光学设置的两个特定应用:在光场和高光谱成像中,推导出这两个系统的编码,并演示了拟议的TMCA如何改进他们使用的传统CA。3.1. 泛泛而谈我们认为辐照度I随时间不变,是我们用压缩成像系统重建的量。我们提出的TMCA包括两个编码阶段。第一级使用时变CAT(t)将I光学编码到入射到传感器的场g中。我们将g(t)建模为给定输入I的线性光学系统O的响应:g(t)=O(T(t),I).(一)正如我们将在3.2节和3.3节中看到的,成像场景物镜CA带通滤波器中继透镜棱镜sor成像场景物镜CA恩索2695O依赖于应用程序,但始终是2696·Ki、ji、j−Σk=0Σsi,j(t)gi,j(t)dt.(二)∫−∫K−1矩阵-向量表示法e=ΣSgk,其中e和g是∫不时变编码曝光T(t)。第二阶段包括编码曝光。辐照度g(t)由传感器在曝光时间Δt的单个快照中捕获。在该曝光期间,空间变化的快门函数Si,j(t)多次“打开”和“关闭”像素(i,j),从而产生编码曝光ei,j(t),其中g(t)的积分已经被调制:单独CA单独快门TMCA∫t+∆t′特别地,我们考虑在K个离散时隙(时间δt的子曝光)上定义 的二进制快门函数Si,j:我们具有Δt=K δt。编码的曝光然后可以被重写为e=ΣSk gk,其中Sk∈{0,1},(3)图3. K= 8的编码说明。右:如等式中的完整编码。(13)和(7)。左和中:当S = Id时的编码。(左)和T = Id。(中)。尽管密码i、jk=0i、ji、ji、j是二进制的,K= 8产生28个可能的快门/ CA值。传感器处的场g(x,t)是空间调制光其中gkSk表示入射到场沿其角度维度投影在第k次像素(i,j)处的传感器和快门功能时隙这些时隙允许我们将编码的孔径与编码的曝光同步(两者都由k索引)。编写此离散模型的另一种方法是使用孔径面积V:g(x)=l(x,u)TV. x+s(u−x)Σdu,(5)KK曝光的是表示快门函数的测量矩阵。入射到传感器的辐照度是gk=Okx,其中矩阵Ok是应用相关光学系统的点扩散函数,也包括编码孔径,并且x表示其矢量形式的辐照度I使用该符号,所提出的TMCA的正向模型可以简单地写为K−1其中s = dl/da,其中da是从传感器到孔平面的距离,是掩模图案相对于入射光场l(x,u)的剪切。 类似于[30],我们采用用于光场的双平面参数化,其中X是传感器平面上的2D空间维度,并且u表示孔径平面上的2D位置(参见图2)。2)的情况。现在考虑3.1节中介绍的时变编码孔径T和快门函数S,产生曝光e的测量模型为e=SkOkx=Mx,⑷k=0e(x)=V∫∆t S(x,t′)l(x,u)T(x + s(u −x),t′)dudt′.(六)定 义 我们的压缩成像系统的 总 体 测 量 矩 阵 M=K-1SkOk。在给定编码快照e的情况下恢复X相当于解决逆问题。通过定义TMCAT asT(x,u)= S(x,t′)T(x+s(ux),t′)dt′,(7)∆t在下面的部分中,我们使用相同的一般公式,等式(6)中的模型可以简单地重写为适用于两种不同的应用。在我们的压缩光场成像的第一应用中,我们的目标是恢复光场,并且辐照度I(并且因此X)考虑多个视角。我们的第二个应用目标是超光谱成像。在这种情况下,I(和X)考虑多个频带。3.2. 用于压缩光场成像的TMCA我们考虑由Marwah等人提出的用于压缩光场成像[35 ]第35段。经译码e(x)=l(x,u)T(x,u)du.(八)V等式(5)中描述的来自[35]的模型不包括编码曝光。将后者与我们在等式(7)中的TMCA模型进行比较,我们注意到,我们的模型可以被看作是我们表示为的等价编码孔径。此外,使用变量的变化,我们可以示出所提出的用于压缩光场成像的TMCA可以在编码孔径平面中表示为孔眼掩模T放置在物镜和传感器之间,与后者相距距离dl事发T(x′,u)=高光谱光场ei,j(t)=∫∫2697∆tS(x′+s(u−x′),t′)T(x′,t′)dt′,(9)2698特征值−- -- -∫∫使用编码孔径平面146中的空间坐标x(见图)2)且s=dA/(dadA)。125有趣的是,这表明使用建议的TMCA,104等效CA从不同角度发出的光线如果快门6函数被移除,CA在时间上保持恒定,4然后TMCA减少到[35],其中所有像素重新00对所有角度均匀地施粉如果我们现在单独考虑快门功能,而没有CA,则传感器平面中的时间调制对所有视图进行平均,如果场景在时间上是静态的,则这不会带来明显的编码优势(因为所有视图都是相同的在图3的顶行中,我们绘制了编码孔径平面中的编码。3.3. 用于压缩高光谱成像的我们使用类似于[52]中提出的编码孔径光谱快照成像仪(CASSI)的光学设计进行超光谱压缩成像。在该架构中,光谱色散使用透镜和传感器之间的棱镜来实现。我们旨在恢复的量是辐照度I(x,y,λ)。注意,我们现在明确地考虑第二空间维度y(并且将假设棱镜在X维度上色散)和光谱维度λ。类似地,我们表示编码孔径T(x,y)的空间依赖性。撞击传感器的场现在还取决于棱镜h的光学响应以及传感器κ的光谱响应:g(x,y)=∫∫T(x′,y′)I(x′,y′,λ)h ( x−s ( λ ) −x′ , y−y′ ) κ ( λ )dx′dy′dλ,(10)其中s(λ)是由棱镜引起的波长相关空间位移。使用快门函数S来创建TMCA,光学编码场g产生编码曝光图4.与K= 8的情况(TMCA中的更多积分槽)相比,对于K=1的情况(传统的,无编码曝光),压缩光场(左)和压缩光谱成像系统(右)以降序排序的特征值分布总之,将编码暴露添加到[52] 生 成 具 有 新 编 码 孔 径 T0 的 TMCA 。 等 式(13)在λ中的依赖性示出了所提出的TMCA模拟颜色编码孔径,否则创建该颜色编码孔径将是昂贵的。重要的是,请注意,这仅在快门功能和CA两者联合使用时才成立。如果快门函数是常数,则这正是[52]中的模型:CA没有光谱响应。另一方面,如果CA被移除,则T表现出对于每个波长共享相同代码的光谱响应,该波长仅根据波长在xTMCA编码的最后一个优点是,即使在我们将编码曝光或编码孔径限制为二进制值的情况下,例如因为那些将更容易物理地实现,所提出的编码仍然可以产生具有非二进制衰减值的空间-光谱图案。图1的底行3描述了拟议的青马管制区的编码。3.4. 测量矩阵我们经验分析提出的TMCA编码的条件为此,我们考虑离散化ver-e(x,y)=∆tS(x,y,t′)∫∫T(x′,y′,t′)I(x′,y′,λ)方程(12)和(8)的解(在附录中导出)。两者都简化为等式中的一般形式其中M是测量矩阵。 本征-h(x−s(λ)−x′,y−y′)κ(λ)dx′dy′dλdt′。( 十一)由于h是通过单位放大率成像光学器件和具有线性色散的色散元件的传播,因此冲激响应可以表示为h(xs(λ)x′,yy′)=δ(x λ x′,yy′)。在(11)简化和重新排列(参见补充)中替换该表达式之后,我们可以将编码测量表示为e(x,y)=∫∫T(x′,y′,λ)I(x′,y′,λ)δ(x−λ−x′,y−y′)κ(λ)dx′dy′dλ,(12)使用TMCAT,定义为T(x′,y′,λ)=S(x′+λ,y′,t′)T(x′,y′,t′)dt′. (十三)∆t该矩阵的值分布告知我们它的条件,从而告知我们解决逆问题的能力,即从e恢复x。图4显示了快门功能中不同数量的离散槽K的两个TMA(第3.1节)。针对K= 1示出的情况等效于不使用快门功能(单个槽意味着单个积分)。这些是由[35]中的传统压缩光场和[52]中的压缩光谱两种应用的曲线图显示,与K= 1(传统CA)相比,K= 8(TMCA)的测量矩阵条件更好。对于K= 8,最低和最高特征值之间的比率较低,并且分布更均匀(特征值衰减不太快),表明TMCA是更好的编码。特征值32212699××D×−××地面实况CASSI(ADMM)CASSI(U-Net)TMCA(学习代码)31.7229.2227.6927.3025.6537.4332.8429.66图5.模拟中压缩光谱成像重建的实例。在右下角示出了重建图像和地面实况图像CASSI(U-Net)TMCA(学习代码)图6.超光谱成像及其重建的编码快照的实际捕获示例增加,防止我们使用太多插槽。为了在这些约束条件下优化TMCA,我们使用与[34]中提出的方法类似的方法通过编码器的前向传递实现了精确的离散二进制值模型,但是用于优化其参数的后向传递是不匹配的,并且考虑到离散前向模型的连续近似。方法PSNR(↑) UIQI(↑) SAM(↓) ERGAS(↓)DD(↓)作为示例,用于前向通过中的量化的硬阈值被认为是后向通过中的S形函数。这种表1.压缩光谱成像:提议的TMCA与ICVL 1数据集基线的比较。4. 端到端优化:联合学习代码和重构我们考虑一种端到端的方法,其中我们优化实现TMCA的光电编码器和解决逆问题的NN解码器(图1)。使用NN来实现我们的可微分解码器呈现三个主要优点:1)它们是不同的:误差被传播回代码,并且可以联合地优化编码器和解码器,2)它们嵌入依赖于任务和数据集的先验,3)它们使用单个前馈通道,在许多情况下,该单个前馈通道比传统的迭代方法(例如基于字典的方法)更快。编码器在TMCA的端到端优化首先,由于CA和快门功能都是在硬件中实现的(参见第5节),因此它们受到实际设备特别是我们的CA和快门函数必须是二进制值。第二个挑战是,我们离散化的时间域的时隙容易同步。这基本上意味着表示那些函数的参数需要对子曝光开始和停止的时隙进行编码。在没有对CA或编码暴露的函数形式的任何进一步约束的情况下,那些参数的数量随着时隙的数量而增长。在下文中,我们将我们的编码器表示为MΦ,其中Φ是对离散前向模型进行编码的参数集在TMCA中,这些参数基本上是表示时变CA(在K个时隙上)的M’N个像素的K个阵列,以及表示快门功能的M’N’个传感器的像素的K个解码器许多类型的可微分解码器已被考虑用于端到端优化[49,57,40]。对于高光谱成像应用,我们使用香草U-网之前,使用反投影与测量矩阵的转置的测量的提升。由我们的高光谱编码器生成的测量e是大小为M(N+L1)的单个2D快照,而我们希望重建的高光谱图像x是大小为M的立方体 N L. U-Net通过将一个域转换为相同维度的另一个域来操作。因此,我们首先使用转置算子M T来提升谱域中的测量e,从而创建e′=MTe,然后将其馈送到U-Net解码器以重构高光谱图像x~。对于压缩光场应用,我们使用由[16]提出的展开的优化网络。我们表示由这些NNψ产生的函数,其中ψ是它们的可学习参数。在训练时间,从N个高光谱图像或光场的数据集采样地面实况测量 XGT然后通过前向模型将其编码为e=MxG T。 解码器提出重构x~=D(e).为了学习我们的编码器-解码器架构的CASSI(E2E学习)30.230.971 15.116.720.020方法使梯度能够向后流动以更新en。TMCA(随机)31.390.978 13.015.740.019编码器的参数,同时保持精确的前向模型TMCA(学习)32.720.981 11.925.270.016可以直接转化为硬件。CASSI(ADMM)27.400.938 22.429.560.031CASSI(U-Net)29.660.968 15.997.040.0222700GTNL◦×× ××× ××× ××GTGT地面实况CLFP(Learned Dict)TMCA(学习代码)方法PSNR(↑)SSIM(↑)[35 ]第三十五章:你是谁?)30.060.82CLFP[35](深网。[16])32.430.91CLFP[35](E2E学习。)33.210.91随机码34.030.93TMCA(可选 代码)34.890.94图7.模拟中的光场重建(中心视图)的示例(放大显示)将CLFP [35]和我们提出的TMCA与地面实况进行比较。最小化重构信号之间的差异x=DM(xn)和地面实况xGT:argminΣL。xn,Dψ◦ M(xn)Σ.(十四)φ,ψn=1表2.压缩光场成像:使用聚合的Lytro数据集将提议的TMCA与基线进行比较。b)使用经训练的U-Net作为解码器c)所提出的使用随机(非优化)代码的TMCA编码和重构流水线,d)具有联合学习编码和训练的U-Net作为解码器的在我们的ICVL的随机测试倍数上执行的定量结果在表1中呈现,它们显示在我们评估的所有度量(PSNR、UIQI、SAM、ERGAS和DD,详见补充)上,我们的完整TMCA流水线比所有其他基础-线 我们展示了一些重建其中代表函数的组合。在实践中,我们选择L2或L1范数,但这也可以选择为高级感知损失函数,例如VGG损失[48]或类似函数。在模拟中的推理时,流水线以从测试集采样的xGT对于实际捕获,编码器的学习这是可能的,因为编码器通过构造被设计成仿真物理上可实现的CA和快门功能。5. 结果我们显示的结果,建议TMCA的两个应用程序,我们认为在这项工作中:压缩光场和高光谱成像。我们证明了这两个结果在模拟和真正的捕获与我们建立的两个原型系统。我们所有的模型都在Py- torch [42]中实现,并使用ADAM优化器[28]在Titan X GPU上进行训练,完整的训练细节和我们设置的照片在补充中呈现。5.1. 编码高光谱成像模拟我们学习的高光谱成像,ING使用ICVL数据集的模型。它由200个光谱图像组成。我们随机选择160高光谱图像进行训练,20验证,和20测试,裁剪的大小为256 - 256与L= 12光谱波段。我们将TMCA编码器中的时隙数量设置为K= 8。U-Net被训练了500个时期。我们将拟议的青马管制区编码与四个不同的基线进行比较:(a)传统的CASSI法典-图5中的高光谱图像。这些说明了所提出的TMCA如何在空间准确性(它们不那么模糊)以及光谱准确性(颜色匹配更好)方面看起来更接近地面实况。真实捕获我们建立了一个原型系统,以评估所提出的TMCA方法在现实世界的场景。该系统由具有50 mm焦距的消色差物镜(Thorlabs AC 254 -050-A-ML)、数字微镜器件(DMD DLi 4120)、F/8中继透镜、通过具有4. 65µm像素大小。相同的原型用于捕获传统CASSI编码和拟议TMCA的测量值。使用在模拟中训练的U-网重建光谱图像,但是使用真实测量。图6中示出了示出书籍封面的捕获的结果,其表明TMCA成像可以在现实世界的高光谱成像原型中实现,该原型仍然呈现出比传统CASSI更高的5.2. 压缩光场成像我们学习我们的端到端TMCA,用于在聚合真实世界和合成光场(LF)的数据集上进行压缩光场成像。我们使用100个大小为7的真实捕获LF7376卡兰塔里的541人等人Lytro数据集[24],22个合成LF图像,大小55512来自[47]的512个,以及33个大小为5的合成LF图像5512第512章[21] 我们将这个聚合数据集随机分为110张LF图像用于训练,20张用于验证,25张用于测试。2701××××××- -××在我们的实验中,我们从一个单一的快照重建5 - 5角视图的分辨率为480 - 270像素。我们使用空间大小为11 - 11的那些图像的随机裁剪的补丁,并考虑用于训练的5 - 5角度视图:随机地将4DLF裁剪成块增加了训练时的样本数量,同时降低了处理整个光场的存储器要求。解码器是[16]中提出的深度空间-角度卷积子网络,其被训练500个历元。训练后,我们重建重叠的4D补丁,然后用中值滤波器合并。我们将所提出的TMCA编码与类似于压缩成像应用的四种不同基线进行比较:a)使用[ 35 ]的传统字典学习和重构方法的重构,[16] c)使用[16]的深网解码器的具有随机(非优化代码)的TMCAd)使用解码器[16]的[35]的E2E优化e结果 汇 编 在 表 2 中 , 示 出 了 在 我 们 评 估 的 两 个 度 量(PSNR和SSIM)上,TMCA优于其他基线。定性结果如图7所示,其中重建了测试集的两个恢复的LF(Kalantari Lytro LF)并与地面实况进行比较。真实捕获我们在真实实验中评估所提出的TMCA方法。我们在硅上使用液晶-con(LCoS)显示器(HOLOEYE PLUTO-2.1 LCoS SLM)其中每个像素可以结合偏振分束器和中继光学器件独立地改变入射光场的由于LCoS上的单个像素不能用我们的设置很好地分辨,因此我们处理4个像素的块。4个LCoS像素作为宏像素,导致CA为480270我们用单反相机重新设计LCoS相机镜头(Canon EF-S 1855 f/4五、6IS STM)不是聚焦在LCoS上而是在其前面,从而光学地将(虚拟)图像传感器放置在LCoS平面后面。 Canon EF 80mm,f/5. 6II透镜被用作成像透镜并且聚焦在60cm的距离 处 。 我 们 遵 循 与 [35]中 相 同 的 过 程 来 调 整 掩 模(LCoS平面)与虚拟图像传感器之间的距离,以用于以5 × 5角分辨率捕获光场使用与模拟中相同的深度网络重建真实捕获的测量值。测量和重建在图8中示出,其示出TMCA使得能够在角度视图中以更好的空间分辨率为特征进行重建6. 讨论我们介绍了一种新的编码策略,称为时间复用编码孔径(TMCA),并证明了它提高CA编码在两个应用程序:CLFP TMCA(学习代码)图8.比较CLFP [35]和建议的TMCA及其重建的光场编码快照的实际捕获高光谱成像和光场成像。TMCA在不引入附加光学元件的情况下改进了传统CA。它增加了一个编码快门同步与CA。编码快门可以简单地电子实现,使用专用传感器或多个快照的突发我们优化了TMCA代码在一个端到端的优化方法,并证明在合成和真实的实验中,建议TMCA产生大大优于重建质量与传统的CA方法。虽然CA系统的限制是它们的低光效率,这在低光场景或高速成像中可能是有害的,但是我们相信我们的系统可以被进一步工程化为实时的(我们对K= 8的捕获花费8 20ms,并且重建花费大约一秒),从而在那些应用中实现高质量视频。我们相信,拟议的TMCA自然会扩展到许多其他使用CA的应用程序,并提高其重建质量。致谢J.N.P.M得到 了瑞士 国家基 金会( SNF)奖 学金(P2EZP2 181817),G.W.得到了NSF奖(1839974)和ARL的PECASE的支持。H.A. 获得了Fullbright 2019访问学者计划的支持2702--引用[1] Mart´ın Abadi,Paul Barham,Jianmin Chen,ZhifengChen,Andy Davis,Jeffrey Dean,Matthieu Devin,Sanjay Ghe-mawat,Geoffrey Irving,Michael Isard,etal. Tensorflow:一个大规模机器学习系统。在第12届USENIX操作系统设计和实现研讨会({OSDI} 16)中,第265-283页,2016年。3[2] Gonzalo R Arce 、 David J Brady 、 Lawrence Carin 、Henry Arguello和David S Kittle。压缩编码孔径光谱成像:一个介绍。IEEE Signal Processing Magazine,31(1):105-115,2013. 一、二[3] Henry Arguello和Gonzalo R Arce。压缩光谱成像中测度集中的彩色编码孔径设计。IEEE Transactions on ImageProcessing,23(4):1896-1908,2014。2[4] Amit Ashok and Mark A Neifeld. 压 缩 光 场 成 像 。 在Three-Dimensional Imaging,Visualization,and Display2010 和 DisplayTechnologiesandApplicationsforDefense,Security,and Avionics IV中,第7690卷,第76900 Q页。国际光学与光子学会,2010年。3[5] MSalmanAsif,AliAyremlou,AswinSankaranarayanan , Ashok Veeraraghavan , and RichardG Baraniuk. 平面摄影机:采用编码光圈和计算的薄型无 镜 头 摄 影 机 . IEEE Transactions on ComputationalImaging,3(3):384-397,2016。2[6] S Derin Babacan、Reto Ansorge、Martin Luessi、PabloRuiz Matar a'n、Ra f aelMolina和AggelosKKatsaggelos。压 缩 光 场 感 测 。 IEEE Transactions on imageprocessing,21(12):4746-4757,2012. 3[7] Seung-Hwan Baek、Incheol Kim、Diego Gutierrez和MinH Kim 。 使 用 棱 镜 的 紧 凑 单 次 高 光 谱 成 像 ACMTransactions on Graphics(TOG),36(6):13[8] Nicola Brusco、S Capeleto、M Fedel、Anna Paviotti、Luca Poletto、Guido Maria Cortelazzo和G Tondello。具多光谱纹理资讯之壁画古建筑物三维建模系统MachineVision and Applications,17(6):373-393,2006. 3[9] 艾扬·查克拉巴蒂通过反向传播学习传感器复用设计。神经信息处理系统进展,第3081-3089页,2016年。3[10] Julie Chang,Vincent Sitzmann,Xiong Dun,WolfgangHei-drich,and Gordon Wetzstein.混合光电卷积神经网络与优化衍射光学图像分类。科学报告,8(1):1-10,2018。3[11] Julie Chang和Gordon Wetzstein用于单眼深度估计和3d物体检测的深度光学在IEEE计算机视觉国际会议论文集,第10193-10202页一、二、三[12] Claudia V. Correa,Henry Arguello,and Gonzalo R.阿尔塞快照彩色压缩光谱成像仪。J. Opt. Soc.Am. A,32(10):1754-1763,2015年10月。第1、3条[13] 大 卫 ·L· 多 诺 霍 压 缩 感 知 。 IEEE Transactions onInformation Theory,52(4):1289-1306,2006. 1[14] Edward E Fenimore和Thomas M Cannon。采用均匀冗余阵列的编码应用光学,17(3):337-347,1978。2[15] Stephen R Gottesman和E Edward Fenimore。用于编码孔径成像的新的二元阵列族。应用光学,28(20):4344-4352,1989. 2[16] Mantang Guo , Junhui Hou ,Jing Jin , Jie Chen , andLap-Pui Chau.编码孔径上用于压缩光场重构的深度空间-角度正则化。欧洲计算机视觉会议,第278-294页。Springer,2020年。六七八[17] Ralf Habel,Michael Kudenov,and Michael Wimmer.实用光谱摄影。在计算机图形论坛,第31卷,第449-458页中。Wiley Online Library,2012. 3[18] Harel Haim 、 Shay Elmalem 、 Raja Giryes 、 Alex MBronstein和Emanuel Marom。使用深度学习的相位编码掩模从单个图像进行深度估计。IEEE Transactions onComputational Imaging,4(3):298-310,2018。3[19] Matthew Hirsch,Sriram Sivaramakrishnan,Suren Jaya-suriya , Albert Wang , Alyosha Molnar , RameshRaskar,and Gordon Wetzstein.具有角度敏感像素和基于字典的稀疏编码的可切换光场相机在2014年IEEE国际计 算 机 摄 影 会 议 (ICCP ) 中 , 第 1-10 页 。 IEEE,2014。3[20] Yasunobu Hitomi , Jinwei Gu , Mohit Gupta , TomooMitsunaga,and Shree K Nayar.视频从一个单一的编码曝光照片使用学习过完整的字典。2011年国际计算机视觉会议,第287-294页IEEE,2011年。2[21] Katrin Honauer,Ole Johannsen,Daniel Kondermann,and Bastian Goldluecke. 4d光场深度估计的数据集和评估方法。亚洲计算机视觉会议,第19-34页。施普林格,2016年。7[22] 弗雷德里克·艾夫斯视差立体图及其制作方法1903年4月14日美国专利725,567。3[23] William R Johnson,Daniel W Wilson,Wolfgang Fink,Mark S Humayun,and Gregory H Bearman.快摄超光谱成像 在眼 科学 中的 应用 。生物 医学 光学 杂志 , 12(1):014036,2007。3[24] Nima Khademi Kalantari , Ting-Chun Wang , and RaviRa-mamoorthi.基于学习的光场相机视图合成。ACMTransactions on Graphics(TOG),35(6):1- 10,2016。7[25] 威 利 · 卡 兰 德 X 射 线 计 算 机 断 层
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)