稀疏偏振传感器与补偿方法相结合的高质量RGB图像和偏振信息获取方法

178线栅偏振器RGB滤色利用稀疏偏振传感器栗田彻平近藤优喜乐工森内佑介索尼集团公司{Teppei.Kurita，Yuhi.Kondo，Legong.Sun，Yusuke.Moriuchi} @sony.comhttps://github.com/sony/polar-densification常规偏振传感器稀疏偏振传感器+ 我们的薪酬(a)传感器阵列（b）RGB（c）DoLP（d）AoLP图1. 与传统的偏振传感器相比，将稀疏偏振传感器与补偿方法相结合可以获得更准确的RGB图像和偏振信息。传统偏振传感器（顶部）和我们提出的传感器（底部）的输出。RGB和线性偏振度（DoLP）值指示峰值信噪比（PSNR）（越大越好），并且线性偏振角（AoLP）值指示角度误差（越小越好）。摘要本文提出了一种新的偏振传感器结构和网络架构，以获得高质量的RGB图像和偏振信息。传统的偏振传感器可以同时获取RGB图像和偏振信息，但传感器上的偏振片在RGB图像的质量和偏振信息之间存在折衷，因为较少的偏振像素减少了RGB图像的劣化，但降低了偏振信息的分辨率。因此，我们提出了一种方法，该方法通过在传感器上稀疏地布置偏振化像素并使用RGB图像作为指导来补偿具有较高分辨率的低分辨率偏振信息来解决权衡我们提出的网络体系结构由RGB图像细化网络和偏振信息补偿网络组成我们证实了我们提出的网络在补偿偏振强度微分分量通过将其性能与用于类似任务的现有技术方法进行比较：深度完井此外，我们证实，我们的方法可以同时获得更高质量的RGB图像和偏振信息比传统的偏振传感器，解决了RGB图像的质量和偏振信息之间的基线代码和新生成的真实和合成的大规模偏振图像数据集可用于进一步的研究和开发。1. 介绍光的偏振表示光波振荡的方向。它可以用来揭示光传输效应[6，49]，如形状[3，4]，反式-[23，38，40]和散射[54，60]。近年来，偏振传感器[56，16]，它可以同时获取RGB图像和偏振信息，在一个单一的拍摄，通过放置偏振器以上的光电二极管，179�������输入RGB稀疏掩码：MℛRGB细化网络�������优化RGB灵敏度校正增益：100RefinedRGB：������RGBB输出RGBDoLPAoLP稀疏偏振传感器原始图像去马赛克L稀疏四向极化稀疏斯托克斯矢量：S计算斯托克斯第1、 2页稀疏stokes矢量M公司简介偏振补偿网络（PCN）����������,�����������������������稠密Stokes矢量斯托克斯矢量图2. Stokes网络架构（SNA）。 该架构由RGB图像的细化网络和偏振信息的补偿网络组成。稀疏（×1/64）+ SNA稀疏（×1/16）+ SNA稀疏（×1/4）+ SNA常规+ SNA稀疏（×1/64）稀疏（×1/16）稀疏（×1/4）常规权衡DoLP PSNR [dB]图3. 每种方法的RGB和DoLP的PSNR图。我们的方法，SNA，解决了RGB图像质量和偏振信息质量之间的权衡。的图像传感器的节点，如图中的顶部所示。1（a）已被广泛使用。这种广泛的实施方式使许多应用成为可能，如形状估计[15，41，22，44，7，63，61，14，20，64]，反射率，moval [37，28，31，12]，等等[55，53，30，11，57，48]。偏振信息的获取是通过放置在传感器上的偏振器来实现的。然而，传感器灵敏度由于偏振器引起的光强度的降低而降低。此外，一个非偏振的组件是必要的，以产生RGB图像，需要在多个方向上的偏振分量的像素合并（平均）。这降低了空间分辨率，如图1顶部所1（b）（另一方面，通过分箱提高灵敏度）。通过减少传感器上偏振像素的数量来减少RGB图像的退化，如图中底部所示。1（a），在设计和制造过程中是可行的，但是偏振信息的分辨率作为副作用而降低。在这项研究中，我们提出了一种方法来解决这种权衡的质量之间的RGB图像和偏振信息稀疏排列的偏振像素并使用RGB图像作为指导以较高分辨率补偿低分辨率 极 化 信 息 我 们 提 出 的 Stokes 网 络 体 系 结 构（SNA）包括一个用于RGB图像的细化网络和一个用于偏振信息的补偿网络，该补偿网络使用细化网络输出的RGB图像作为指导，如图所示。二、RGB图像细化网络通过校正去马赛克伪像和稀疏像素以及清理用作指导的RGB图像来帮助更有效地补偿偏振信息。 用于偏振信息的补偿网络仅对偏振斯托克斯分量S1和S2（它们是偏振强度的差分分量）进行补偿。相反，非偏振分量S0是从RGB图像生成的。由于只学习差分分量，因此与在四个方向上补偿偏振强度的方法相比，可以更稳定地补偿偏振信息。此外，大量的RGB和偏振数据无法用于训练网络。虽然偏振传感器的出现降低了获取偏振信息的难度，但是需要大量的时间和人力我们使用极化传感器来获取真实世界的数据，并使用极化渲染器[26]来生成用于训练的大型合成数据集。我们的大型合成数据集是使用Hou- dini [1]生成的，Hou-dini是一种能够自动生成对象的程序建模的3D软件程序因此，获取大量数据的成本可以忽略不计。我们确认了所提出的网络架构的优越性，通过比较其性能与国家的最先进的（SOTA）方法类似的任务，如深度完成和上采样。此外，我们证实了我们的方法可以同时获得比传统偏振传感器更高质量的RGB图像和偏振信息，如图11底部所示1.一、特别是，我们证明了超过10 dB和1 dB的RGB和DoLP图像的PSNR的性能改善，最后，我们表明，解决RGB图像质量和偏振之间的权衡，到灰色计算DoLPAoLPRGB PSNR [dB]180×- -的信息是可能的，如图所示。3.第三章。由于我们的补偿架构的多功能性，实现更高质量的输出从传统的偏振传感器，sors也是可能的。概括而言，我们的贡献如下：• 提出了一种利用稀疏偏振传感器和补偿方法解决RGB图像质量和偏振信息质量之间折衷的方法。• 一种有效的网络架构，用于补偿具有退化的捕获的极化信息。• 提供高质量的真实和多样化的合成大规模偏振数据集。2. 相关工作之前的几项研究提出了去噪[52，51，33]或去马赛克[39，46，36]以获得高质量的偏振信息。很少有研究集中在RGB图像质量和偏振传感器的偏振信息之间的权衡。我们的稀疏排列偏振像素以避免RGB图像质量下降的策略源自具有稀疏排列相位检测像素的图像传感器[25]。在这些传感器中，一部分像素被有意地遮光以用于图像相位检测自动对焦[9]。然而，由于RGB图像质量与普通传感器相当，这些传感器近年来在手机和其他应用的相机中变得流行。因此，我们假设，即使偏振像素稀疏地排列，只要提供适当的补偿，也可以获得足够的RGB图像质量因此，我们对这一假设进行了研究。稀疏偏振信息具有低分辨率，并且需要使用RGB图像作为指导进行充分补偿。 类似的问题也会在- 提高高光谱图像的超分辨率，以及深度完成和上采样。由于高光谱图像受密集光谱采样的不利影响，往往具有较低的空间分辨率，因此人们对高光谱图像与高分辨率RGB图像进行融合以生成高分辨率高光谱图像进行了大量的研究。然而，许多方法[27，13]使用与超光谱图像的独特物理性质相关的约束，并且不足以直接应用于其他问题。此外，深度完成[19，10，58，62，35，17，45]或上采样[24，34]是获取稀疏深度图或低分辨率深度图像并通过参考RGB图像将其转换为高分辨率这种方法一直是许多研究的主题，特别是使用神经网络。随着对自动驾驶、增强现实、2偏振器2(a) 像素合并（b）常规像素（c）偏振像素图4. 像素合并和灵敏度。（a）常规偏振传感器中的像素合并（平均化）。对邻域中的相同颜色的四个像素求平均以生成非偏振组件，降低分辨率，但增加灵敏度。（b、c）宝─由于偏振器减少了光量，因此放大像素的灵敏度较低。手势识别等，这些领域的竞争越来越激烈，SOTA网络[18，43，50]也变得越来越复杂。然而，因为这些方法专门用于深度估计，所以当直接应用于偏振信息补偿时，它们产生许多伪影。因此，在这项研究中，我们提出了一种新的网络架构，适用于补偿极化信息。3. 方法本节详细介绍了所提出的传感器的结构、问题制定、用于获得高质量RGB图像和偏振信息的网络架构，以及新获取和生成的真实世界和合成数据集。3.1. 稀疏偏振传感器稀疏偏振传感器的一个例子显示在图2的底部。第1（a）段。这是一种结构，其中不同角度的四个极化像素被布置在四拜耳阵列RGB传感器中的8 × 8区域中。偏振像素的比例是r，其中r=1/16。白色滤光片放置在偏振像素区域中，以增加传感器对可见光波长带的灵敏度。空间分辨率：为了使用传统的偏振传感器产生RGB图像，必须对四个偏振角进行像素合并（平均），以创建非偏振分量，如图所示。第4（a）段。因此，如果像素的总数是N，则传统偏振传感器中的RGB图像像素的数量将是N/4。相比之下，稀疏偏振传感器可以在没有合并的情况下输出规则像素，并且像素的数量将是（1r）N。因此，稀疏偏振传感器在RGB图像中具有比常规偏振传感器多4（1r）倍的像素，当r=1/16时转换为多3.75倍的像素。由于稀疏偏振传感器具有较少的181×r∈∈∈≤≤√√F→√→√F分辨率（传统偏振传感器= 1.0）表1. 稀疏偏振传感器与传统偏振传感器的特性相似。 r是以下的比率：偏振像素的数量与像素的总数之比。els（0≤r≤1），t是偏振器的透射率（0≤t ≤1）。偏振像素与总像素的比率：图5. 稀疏偏振传感器相对于传统偏振传感器的分辨率。在RGB图像的分辨率和偏振信息的分辨率偏振像素，用于偏振信息的像素的数量是传统偏振传感器的R倍因此，如图所示如图5所示，RGB图像的分辨率与偏振像素的百分比r的偏振信息的分辨率之间的关系是一种折衷。灵敏度（信噪比（SNR））：传统偏振传感器从偏振像素生成RGB图像，而稀疏偏振传感器生成RGB图像。RGB偏振分辨率×4（1−r）灵敏度（SNR）×SNR1/2t 略好无论如何，与空间分辨率相比，这些变化微不足道，最终RGB图像的质量和偏振信息高度依赖于空间分辨率。3.2. 问题公式化本研究的目的是产生一个补偿的stokes分量S=[S0，S1，S2]RM×N×3，对于高分辨率RGB图像GRM×N×3和稀疏四偏振图像L=[L0，L45，L90，L135]RM×N×4，除偏振像素外填充零。M和N分别是图像的高度和宽度。 由于偏振传感器不能获取圆偏振分量，因此省略S3。变换矩阵A将四个偏振角的每个分量变换为其相应的斯托克斯矢量，如下所示：图像从常规像素。如图4（b，c），当S0（L0+L45+L90+L135）/4公斤非偏振光进入偏振像素，光强度变为常规像素的t/2倍，其中t是S=S1=A·L=S2（L0−L90）/2（L45−L135）/2中文（简体）偏振器的透射率（0t1）。为了简单起见，假设滤色器的噪声因子、读取噪声和透射率可以忽略，并且光子数和量子效率分别为S和Qe相应地，规则像素和偏振像素的SNR分别为QeS和 tQeS/2。生成RGB时图像，对比偏振的平均SNR一个简单的解决方案是学习一个映射L：L使得G被用作产生高质量的四偏振角图像Lθ的引导，并且然后将Lθ转换为空间矢量Sθ。该变更如下进行：S=A·FL（L，G;θFL），（2）其中θ是学习的权重的集合。但这传感器是2tQeS，因为它平均四个偏振pix-FLeS，而稀疏偏振传感器的平均SNR为QeS。因此，稀疏偏振传感器对于RGB图像具有比常规偏振传感器高1/2倍 当透射率设置为t=0时。7、对于偏振传感器的标准值，信噪比略低，约为0.85倍。因此，稀疏偏振传感器对偏振信息的敏感性略高，因为白色文件之三.表1总结了稀疏极化传感器与传统极化传感器相比的特性。偏振信息越稀疏，RGB图像的分辨率越好，而偏振信息的分辨率劣化。相反，RGB图像的灵敏度略有降低，偏振信息的灵敏度略有增加。方法不能很好地保持四个偏振角之间的微小关系，并产生显著的伪影。另一个基本方法是学习映射S：SS，使得不是直接补偿四个极化角，而是将L变换为稀疏斯托克斯向量S以产生高质量斯托克斯向量S，如下：S∈ S=FS（A·L，G;θFS）.（三）在这种方法中，诸如S1和S2的分量（主要是低频和次要值）以相对良好的质量被恢复无论如何，具有许多高频纹理的S0分量显著退化。另一个问题是主要由RGB图像G中的稀疏偏振像素引起的伪影降低了补偿性能，特别是在边缘附近。偏振信息P溶液Res1/4R=1/16R=RGB图像182FR→一、二一、二一、二因此，我们建议从RGB图像和映射S的S0分量的生成要执行的形成仅使用斯托克斯矢量，S1和S2的差异（偏振）分量。斯托克斯矢量的S0分量表示非偏振分量。因此，只要吸收像素之间的灵敏度差异，就可以从更高分辨率的非偏振RGB图像生成更高质量的图像，而无需从偏振像素生成。 我们还校正RGB图像中的去马赛克伪影，以产生更高质量的RGB图像G，以用作偏振信息补偿的指导。这一进程的表述如下：S=A·L，G_（？）=R（G，S，M;θR），S0=g·B·G，S1，2=FS（S1，S2，G，M;θFS），（四）图6. 极化补偿网络（PCN）。该网络由一个分支和第二个分支组成，该分支使用RGB图像作为指导来补充稀疏偏振信息其中映射：GG补偿RGB，g是吸收非偏振和偏振像素之间的灵敏度差异的增益，B是将像素从RGB转换为灰度的变换矩阵，并且M是偏振像素的掩模（二进制图像，具有偏振的像素为1，没有偏振的像素为0）。3.3. 网络架构这项研究提出了一个端到端的网络架构，SNA，使用RGB图像补偿低分辨率偏振像素，如图所示。二、首先，采取- ING从稀疏偏振传感器的RAW数据作为输入，去马赛克过程被执行以将数据分离成三通道RGB图像和具有四个稀疏偏振角的四通道图像。稀疏的四偏振角图像通过变换矩阵A转换为斯托克斯矢量。接下来，RGB图像细化网络校正RGB图像中的去马赛克伪影然后，以细化后的RGB图像和稀疏Stokes分量S1、S2的偏振分量为输入，通过偏振信息补偿网络估计高分辨率Stokes分量的偏振分量。对细化后的RGB图像进行灰度化和增益处理以吸收灵敏度差异后，计算高分辨率的S0分量，得到最终的Stokes矢量和RGB图像。建议的SNA提供了一个补偿的S1，2，这是本研究的主要贡献之一。与使用四个偏振强度图像的基本补偿架构（未分离为S1，2）相比，SNA可以在偏振约束下进行有效补偿（表1）。4）.RGB细化网络（RGBRN）：稀疏偏振传感器具有散布有规则RGB传感器的偏振像素。因此，去马赛克可能在该偏振像素区域中引起伪像。RGB图像中的这种去马赛克伪像会干扰其细化所获得的密集偏振信息。极化信息因此，我们使用一个细化网络来清理RGB图像。网络架构基于[21]，在残差学习中进行了修改以稳定学习。除了RGB图像之外，稀疏偏振分量S0、S1、S2和掩模M被用作输入以补充丢失的偏振化像素中的信息，从而改进细化。偏振补偿网络（PCN）：如前所述如上所述，我们仅补偿偏振信息S1，2。S1、2、细化RGB图像G和掩模M被作为输入，并且通过以下步骤执行补偿：图中所示的两个分支网络。6，基于ENet，[19]中的骨干。网络首先生成密集的po-量化信息S检验，置信度C检验，第一输出，在第一分公司该分支旨在补充偏振信息。 接下来，第二次漂白用于精炼偏振信息。 使用第一输出S_lst和稀疏S_l，2作为输入，生成密集偏振信息S_l2nd和置信水平C_l2nd作为第二输出。最后，第一输出和第二输出在它们各自的置信度水平C处被混合，以获得偏振信息S1，2作为最终输出。由于ENet旨在补充深度，因此它可以-不应用于补充极化信息。我们将输入和输出通道的数量扩展到两个，并在输出之前提取ReLU以允许负结果。ENet具有从第一分支解码器到第二分支编码器的相同分辨率层然而，适合于第二个分支细化的特征并不总是由第一个分支为了完成目的而生成的。该间隙导致性能下降。 因此，我们使用特征转移M第1、2页C�1st第二次�系�P于我1,2���第二届1,2× 1/2D11× 1/4D12× 1/8D13× 1/16D14FTB4× 1/32D15D25第一分公司（竣工）E15E14E13E12E11E10第二分公司（精炼）E25E24E23解码器功能特征编码器C+的SigmoidFC全球人才库AFAE22E21ReLU+1 × 1Conv转换BN ReLU转换3 × 3FTB3 × 3E20eC�1st+eC�2ndC�1st�1stC�2nd第二次e���������������=1,2�������输出D24D23D22数码21FTB3FTB2FTB1AFA4AFA3AFA2AFA1AFA0183GT一、二√2×12表2. 不同偏振数据集之间的比较数据集收集大小决议巴[5]偏振照相机2631.3M雷[29]偏振照相机5221.3M偏光相机69 5.0M偏振片旋转13 4.3M合成11000 1.3M 0.4M我们偏光相机811 5.0M偏光镜旋转23820.0M(a) 自动生成的地板和物体（b）数据块（FTB）[59，32]，以将由第一分支生成的特征转换成适合于第二分支的形式此外，ENet的第一分支通过编码器提取RGB它用解码器补偿S1，2，因此不同类型的特征直接用跳过连接添加，导致网络的表达能力受到限 制 我 们 应 用 了 一 个 基 于 注 意 力 的 特 征 聚 合 块（AFA）[59，32]，它考虑了场景的全局和视觉特征，为编码器侧的重要通道分配更高的权重，并将它们添加到解码器侧特征。这使得能够在第一分支中学习更灵活的表示。损失函数：我们对S1，2使用L1损失，对RGB G使用L2损失来训练我们的网络。在学习的早期阶段，中间输出S1st和S2nd也受到监督，图7. 自动生成的合成数据集。（a）楼层和物体按程序生成(b)相机随机放置，可以免费获取各种数据。4. 实验4.1.数据集和实施详细信息为了评估我们的方法，我们对我们的数据集进行了许多我们使用10729张图像（10000张合成图像和729张使用FLIR BFS-U3- 51 S5 P-C彩色偏振传感器采集的真实世界图像）进行训练，并使用1082张图像（1000张合成图像和82张真实世界图像）进行验证。为了进行评估，我们使用了238个通过在RGB相机FLIR BFS-U3- 200 S6 C-C前面旋转偏振器获得的真实世界图像。原始数据来自稀疏的研制了分辨率为768×576的偏振传感器。定义L（S）=||S一、二- S型 ||，L一、二（G）=||G−Gg t||通过对数据集进行模拟来验证。反式-极化的阻抗e rw被设置为t=0。7 .第一次会议。我们添加了镜头S1、21、21 G二（五）与真实世界的标准差为FnS的L=LS（S）+λ{LS（S1st）+LS（S2nd）}+LG（G）其中，Sgt、Ggt是地面真值，并且λ是超参数，其是随着时期的数量而减小的权重。3.4. 数据集我们使用两种方法获得了真实世界的RGB和偏振信息数据集。一种方法使用极化传感器，其对获取数据的挑战较小，但数据质量较差。另一种方法是在常规RGB相机前旋转偏振器来获取数据，这种方法质量更高，但成本更高。因此，我们用我们的偏振渲染器生成了一个大型合成数据集，以弥补这些不足。我们的方法使用胡迪尼程序生成3D对象和室内场景，如图所示。7.第一次会议。因此，可以免费获得大量数据。我们使用基于规则的平面图生成[8]，对象摄像头随机放置在规则中，对象纹理基于从真实传感器获取的噪声模型的评估数据，其中S是像素值，并且Fn是噪声因子。我们使用Fn=0。72，因为它是真实传感器上0 dB模拟增益的值。我们的网络架构在配备NVIDIA A100 GPU的PC上使用PyTorch实现。我们进行了30次网络训练，5，初始学习率为0.001（逐渐衰减），并采用了具有最佳验证结果的历元模型。使用方程中定义的损失。5，λ=0。2被设置为初始时期，并逐渐减少到0。4.2. 评估我 们 对 RGB 图 像 使 用 PSNR 和 结 构 相 似 性 指 数（SSIM），对整个Stokes矢量S0，1，2和偏振分量使用均方根误差（RMSE），仅对偏振信息使用S1，2DoLPs2+s2/s0，AoLP以及从虚幻引擎市场获得的凹凸贴图[2]。表2显示了我们的真实世界和合成数据集与现有数据集的比较我们的数据集在数据大小上超过了真实世界和合成数据集，并且我们获得了许多高分辨率数据集。1tan−1（s2/s1），s表示S的像素值。我们使用不同的随机种子训练模型五次，并使用评估结果的平均值。 处理我们的方法的速度是0.05秒/768576图像。由于篇幅所限，本文对这一问题进行了详细的评价，小野[42]184(a) 地面实况（b）常规（c）稀疏+双线性（d）稀疏+SNA[50]第50话（e）稀疏+SNA与PCN（我们的）图8. 与其他方法的比较 在r = 1/16时进行评价。顶部是DoLP，底部是AoLP。（d）显示结果在将我们的PCN替换为GuideNet之后，在第2节中描述的提议的斯托克斯网络架构（SNA）中三点三表3. 与基本方法的比较（第二节）3.2）。r是偏振像素的百分比。表5. 在我们的网络架构中，将PCN替换为深度完成和上采样网络后获得的结果比较（第二节）。3.3）。 在r= 1/16时进行评价。方法14S0，1，2RMSE↓S1、2RMSE↓DoLPPSNR↑AoLP错误↓[第18话]5.1284.83725.1215.48NLSPN [43]4.9054.47023.9720.20[第50话]4.8594.39025.5915.62PCN（我们的）4.7074.15126.4813.95表6. 真实世界（R）和合成（S）数据集的比较（第第3.4段）。在r= 1/4时进行评价。表4. 消融研究（第3.3）。 评价工作r=1/4。数据串大小S0，1，2RMSE↓S1、2RMSE↓DoLPPSNR↑AoLP错误↓基线10.94810.57416.5731.70S100005.1374.09326.5813.11+ SNA10.3284.04626.9412.31R+S107294.8813.82427.4112.36+ RGBRN4.9743.97926.7513.43+ FTB 4.9523.95226.81十三点十四分+ AFA（我们的）4.8813.82427.41十二点三十六分已在补充材料中提供。与基本方法的比较（第二节）3.2）：我们首先确认了我们方法的有效性（Eqn. 4）将其与Eqn进行比较2和Eqn.3 .第三章。表3显示，对于三种不同的r（1/4，1/16和1/64），我们的方法提供了最准确的偏振信息结果等式3秒三点三基线是一种补偿四个偏振强度图像的方法验证了每种措施的有效性，特别是极化约束 S1 ， 2补偿（SNA）和RGBRN与深度完井网络的比较：我们还应用了一个通用网络（UNet [47]，U2Net [44]）和SOTA网络进行深度完成和上采样，GuideNet [50]，NLSPN [43]和FDSR [18]，并将其性能与我们的PCN进行比较。三点三每个有一些好的结果，但S的均方根差，表明，0、1、2极为网络被修改为极化，所有条件除PCN外，其余均相同换句话说，S0估计得不好消融研究：表4显示了消融研究，证实了S0， 1， 2S1，2DoLP AoLPr方法RMSE↓ RMSE↓ PSNR↑误差↓[×10−3][×10−3][dB][◦]116164等式2等式3我们的等式2等式39.10327.5624.7078.74326.8335.0328.9554.3534.1518.7594.9964.80119.00 27.4925.4013.5726.4813.9517.56 32.8823.88 15.7425.19 15.56等式211.01610.63216.7331.21【×10−3】【×10−3】[dB][◦]等式320.6224.05926.6912.54UNet [47]4.9744.56825.0016.31我们4.8813.82427.4112.36[第44话]5.5375.22423.9019.11S0， 1，2S1、 2DoLPAoLP操作RMSE↓【×10−3RMSE↓【×10−3PSNR↑[dB]错误↓[◦]【×10−3】[×10−3][dB][dB]R72911.1625.240 25.40 14.79S7296.3465.342 24.05185在SEC中提出的架构 3.3、S1、2补偿和RGBRN被采用，我们的PCN之间的差异和其他网络进行了评估。表5显示了数量-186表7. 考虑噪声的常规和稀疏偏振传感器的综合评估。Fn是噪声系数（越高噪声越大）。Fn偏振传感器R方法S0， 1，2RMSE↓【×10−3】S1、 2RMSE↓【×10−3】DoLPPSNR↑[dB]AoLP错误↓[◦]RGBPSNR↑[dB]RGBSSIM↑常规0-15.1246.62925.4317.0533.920.9251我们6.9153.85427.2212.3540.560.97490.72164双线性我们13.3695.03213.9734.80215.9825.1925.1015.5637.7944.740.97320.9902常规0-15.2166.87623.7723.9933.850.9233我们7.2383.97226.0614.9339.790.96853.6164双线性我们13.9545.69014.5225.04014.5723.8632.0522.5137.1842.730.96300.9798定量比较结果和图8显示了GuideNet的定性比较。每个结果表明，我们的PCN可以补偿极化信息比其他网络更好数据集（第3.4）：我们还评估了每个数据集（真实世界和合成）的训练性能，证实了大型合成数据集的有效性，如表1所示。六、对于相同数量的训练图像，该模型可以从合成数据集和真实世界数据集中学习（S0，1，2的准确性有显著提高）更高数量的训练图像可以产生更高质量的结果。此外，真实世界和合成数据集的混合表现最好，因为消除了域间隙。全面的噪声感知评估：为了进一步研究抗扰性，我们从实际传感器的噪声模型中再现了高噪声因子Fn（高模拟增益）的情况，并对不同r下的常规和稀疏偏振传感器的性能进行了全面评估，如表10所示。7 .第一次会议。Ob-服务的评估结果，我们看到，我们的补偿方法仍然有效，即使在嘈杂的情况下（Fn=3。（六）。Fn = 0时评价结果的直观表示。72在塔布7如图所示3 .第三章。与传统的偏振传感器相比，我们的稀疏偏振传感器可获得高质量的RGB图像和偏振信息，特别是在r=1/4和1/16时，各输出质量之间具有出色的平衡此外─该补偿方法对提高传统偏振传感器的RGB图像质量和偏振信息质量5. 讨论和结论我们提出了一种新的稀疏偏振传感器结构和网络架构，该架构补偿低分辨率偏振信息，以同时获得高质量的RGB图像和偏振信息。这项研究的结果是基于模拟。在未来，我们打算考虑原型我们的备用极化传感器，以验证其实际应用。基于这项研究，我们相信偏振像素可以被纳入许多相机在未来。局限性： 首先，本研究使用白色滤光片 在偏振像素中。因此，我们不能获得波长侧偏振信息。发展一种稀疏的偏振传感器结构和补偿网络结构来获取波长信息是未来的研究方向。其次，RGB图像和偏振信息之间没有完美相关性的情况，例如透明物体的光弹性测量中的补偿，对于当前方法来说是具有挑战性的最后 ， 我 们 的 网 络 是 不 适 合 的 ， 由 于 大 量 的 参 数（184.8M）的硬件实现能力。我们将努力使网络在未来更加紧凑。1双线性14.64313.43817.6823.3435.740.95794我们4.8813.82527.4112.3643.760.9878稀疏1双线性13.51813.57916.6924.0636.980.969016我们4.7074.15126.4813.9544.490.98971双线性15.13113.97715.9030.9035.380.94934我们5.6174.06725.3817.0541.830.9759稀疏1双线性14.06414.10015.1831.3736.470.959216我们5.3804.35625.2218.2342.490.9789187引用[1] 胡迪尼https://www.sidefx.com/products/houdini/.（2022年5月7日）。2[2] 不真实 发动机 市场。网 址 ： //www.unrealengine.com/marketplace/网站。（2022年5月7日）。6[3] G. A. Atkinson和E. R.汉考克基于偏振的多视角曲面重建。IEEE/CVF计算机视觉国际会议（ICCV）论文集，第309-316页，2005年1[4] G. A. Atkinson和E. R.汉考克从漫射极化恢复表面取向 。 IEEE Transactions onImage Processing （ TIP ） ，2006年。1[5] Yunhao Ba，Alex Gilbert，Franklin Wang，Jinfa Yang，Rui Chen ， Yiqin Wang ， Lei Yan ， Boxin Shi ， andAchuta Kadambi.两极分化形成的深层形状。欧洲计算机视觉会议（ECCV），第554Springer，2020年。6[6] 白承焕和菲利克斯·海德。偏振时空光输运探测。ACMTransactions onGraphics（TOG），40（6）：1 1[7] 作者：Daniel S. Jeon、Xin Tong和Min H. Kim.同时采集偏振SVBRDF和法线。ACM Transactions on Graphics（TOG），37（6）：268：1-15，2018。2[8] Daniel Camozzato ， Leandro Dihl ， Ivan Silveira ，Fernando Marson，and Soraia R Musse.从建筑草图生成程序性平面图。The Visual Computer，31（6）：753-763，2015. 6[9] 陈金成，黄少康，和陈侯默。增强相位检测自动对焦。IEEEInternationalConferenceonImageProcessing（ICIP），第41-45页IEEE，2017年。3[10] Xinjing Cheng ， Peng Wang ， Chenye Guan ， andRuigang Yang. CSPN++：学习上下文和资源感知的卷积空间传播网络，用于深度完成。在AAAI人工智能会议论文集，第34卷，第10615-10622页3[11] 崔兆鹏，维克托·拉尔森，马克·波勒费斯。相对位姿估计。在IEEE/CVF计算机视觉国际会议（ICCV）的会议记录中，第2671-2680页2[12] Valentin Deschaintre，Yiming Lin，and Abhijeet Ghosh.用 于 3D 形 状 和 SVBRDF 采 集 的 深 度 偏 振 成 像 。 在IEEE/CVF计算机视觉和模式识别会议（CVPR）论文集，第15567-15576页2[13] 任伟典，李树涛，郭安静，方乐源。深度高光谱图像锐化。IEEE Transactionson Neural Networks and LearningSystems（TNNLS），29（11）：5345 3[14] Yoshiki Ushao，Ryo Kawahara，Shohei Nobuhara，andKo Nishino. 偏振正常立体声。 在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第682-690页2[15] AbhijeetGhosh，GrahamFyffe，BoromTunwattanapong ， Jay Busch ， Xueming Yu ， and PaulDebevec.多视图面罩-使用偏振球面梯度照明来实现。ACMTransactions onGraphics（TOG），30：129，2011年12月。2[16] 维克多·格鲁耶夫罗伯·帕金斯和蒂莫西·约克采用铝纳米线滤光片的CCD偏振成像传感器。Optics Express，2010. 1[17] 顾嘉琪，香之语，宇文野，王凌轩。DenseLiDAR：一种实时伪密集深度制导深度完井网络。IEEE Roboticsand AutomationLetters，6（2）：1808 3[18] Lingzhi He，Hongguang Zhu，Feng Li，Huihui Bai，Runmin Cong ， Chunjie Zhang ， Chunyu Lin ， MeiqinLiu，and Yao Zhao.实现快速准确的真实世界深度超分辨率：基准数据集和基线。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第9229-9238页三、七[19] 穆虎 、王 叔陵 、李 斌、 宁世玉 、李 凡、 公孝 津。Penet ： 实 现 精 确 和 高 效 的 图 像 引 导 深 度 完 成 。IEEEInternational Conferenceon Robotics and Automation（ICRA），第13656IEEE，2021。 三、五[20] Tomoki Ichikawa ， Matthew Purri ， Ryo Kawahara ，Shohei Nobuhara，Kristin Dana，and Ko Nishino.天空中的形状：天空下的偏振正常恢复。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第14832-14841页2[21] Andrey Ignatov，Nikolay Kobyshev，Radu Rifte，Ken-neth Vanhoey，and Luc Van Gool. WESPE：用于数码相机的弱监控照片增强器.在IEEE/CVF计算机视觉和模式识别研讨会（CVPRW）会议记录中，第6915[22] Achuta Kadambi、Vage Taamazyan、Boxin Shi和RameshRaskar。极化3D：具有极化提示的高质量深度感测IEEE/CVF计算机视觉国际会议（ICCV）论文集，第3370-3378页，2015年2[23] Agastya Kalra 、 Vage Taamazyan 、 Supreeth KrishnaRao 、 Kartik Venkataraman 、 Ramesh Raskar 和 AchutaKadambi。用于透明对象分割的深度偏振提示。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第8602-8611页1[24] 金范俊，让·庞塞和范燮·汉姆。可变形核网络用于联合图 像 滤 波 。 国 际 计 算 机 视 觉 杂 志 （ IJCV ） ， 129（2）：579 3[25] Masahiro Kobayashi，Wakiko Johnson，Yoichi Wada，Hiro- masa Tsuboi ， Hideaki Takada ， Kenji Togo ，TakafumiKishi ， HidekazuTakahashi ， TakeshiIchikawa，and Shunsuke In-oue.一种低噪声和高灵敏度的图像传感器，在所有像素中具有成像和相位差检测af。ITETransactionsonMediaTechnologyandApplications（MTA），4（2）：123 3[26] Yuhi Kondo ， Taishi Ono ， Legong Sun ， YasutakaHirasawa，and Jun Muray