密集光场的质量评估

58密集光场的质量度量1Marek Vinkler1 Denis Sumin1 Rafaelik K.Mantiuk3 Karol Myszkowski1 Hans-PeterSeidel1 Piotr Didyk1，21MPI Informatik2萨尔大学MMCI3剑桥大学计算机实验室摘要光场成为三维场景的一种流行表示，并且人们对它们的处理、再现和压缩感兴趣由于这些业务往往造成质量损失，因此有必要对其进行量化。在这项工作中，我们收集了一个新的数据集的密集参考和失真的光场，以及相应的质量分数，这是在感知单位缩放。使用交互式光场观察装置在主观实验中获得分数。该数据集包含由于光场重建、多视图压缩和自动多视图显示的限制而在光场处理链中发生的典型伪影。我们测试了一些现有的客观质量指标，以确定如何以及他们可以预测光场的质量我们发现，现有的图像质量度量提供了光场质量的良好测量，但需要密集的参考光场以获得最佳性能。对于比较两个失真光场的更复杂的任务，它们的性能显着下降，这表明需要新的，特定于光场的指标。1. 介绍光场可以被看作是2D图像的概括，其对大部分深度线索进行编码并且允许渲染模拟任意光学器件（例如，散焦模糊）[16]。它是多主题和光场显示器的方便表示[43]，而且是捕获高质量电影内容的有吸引力的格式，在后期制作中提供新的编辑可能性[19]。由于巨大的存储需求，光场通常在空间和角度维度上稀疏采样，使用有损压缩存储，并在以后重建目前还不清楚如何扭曲的方式引入影响感知质量。对于2D图像、视频和稀疏多视图内容，已经解决了类似的问题许多质量指标已经被设计来预测不同类型之间的感知差异相同内容的不同版本[1]。然而，测量密集光场的质量仍然是一项复杂的任务。虽然一些作品将现有指标应用于此类内容[12，8]，但从未在此背景下系统评估其性能挑战之一是获取密集的光场数据以验证度量。需要考虑多相机装置[44]中的宽基线，并且参考光场应该足够密集以避免不受控制的视觉伪影。由于当前的显示限制，获得人对光场失真的响应这项工作是试图克服这些问题，首先建立一个新的密集的光场数据集，这是适合于测试质量指标，其次，使用自定义的光场查看设置，以获得该数据集的质量判断。所收集的主观分数用于评估在密集光场的背景下现有度量的性能。我们专注于光场特定的角度效应类似于运动视差，复杂的表面外观，以及在自由观看体验中出现的双目视觉。为了在这些效果上捕捉丰富的可变性，并在我们的感知实验中进行质量缩放，我们设计了14个真实和合成场景，并引入了特定于光场重建，压缩和显示的光场然后，我们在光场对上进行成对比较实验，并推导出原始和失真刺激之间差异的感知缩放这使我们能够调查现有的图像，视频和多视图质量指标的广泛适用性，以预测这种感知缩放。我们还提出了简单的扩展选定的度量捕捉角度方面的光场感知。虽然原始度量不适用于光场，但我们的研究结果表明，如果以密集光场为参考，它们可以用于这种情况。我们还证明了这种度量预测的鲁棒性下降时，评估两个失真的光场之间的质量。这项工作的主要贡献是：• 公开可用的密集光场数据集，其被设计用于训练和评估质量度量;• 一个感知实验，59几种典型光场畸变的判断• 在光场的背景下对现有质量度量的评估、分析和扩展• 确定了轻领域质量评估的挑战，例如需要高质量的参考资料。2. 以前的作品在本节中，我们将概述现有的光场数据集以及测量各种类型内容中感知失真的实验。光场数据集：有几个公开可用的光场数据集。最受欢迎的是：包含七个合成场景和五个真实世界场景的4D光场数据集[ 42 ]，具有二十个4D光场的斯坦福存档[ 7 ]，以及包含五个场景的迪士尼3D光场数据集[14]。虽然前两个数据集提供了良好的质量和合理数量的光场，但它们是在非常窄的基线上捕获的，这对于新一代自动立体显示器是不够的迪士尼数据集提供高空间-角度分辨率光场;然而，它们数量很少，而且不具有一致的空间和角度分辨率，这使得难以用于质量评估。在3D光场质量评估的背景下，IRCCyN/IVC DIBR图像数据库中提供了三个真实世界光场[4]。这些包含沿宽基线捕获的几个场景，代价是 降低了角分辨率。Tamboli等人[35]提供了360张圆桌拍摄的三个场景，用于质量-在3D光场显示器上进行城市评估。 这些是相当具有单个对象的简单场景，并且图像包含大量噪声。在我们的工作中，我们提供了第一个一致的数据集密集，复杂的场景光场与大的外观变化。我们使用数据集来训练和评估质量指标。该数据库手杖也作为一个地面实况自动多镜显示。实验和实验：由于其在2D图像上的有效性，2D客观指标是评估光场质量的可行候选人。Yasakethu等人[46]测试了客观测量的适用性-他们在自动立体显示器上进行了主观实验，并表明可以在每个视图上单独使用2D指标他们使用了很少的序列，只研究了压缩伪影。已经提出了几种度量来确定从多视图图像合成的视图的质量。Bosc等人[4]提出了两种评估合成视图质量的方法。然而，他们没有进行充分的主观研究。Solh等人[34]提出了一个度量用于量化多视图采集中的几何和光度失真Bosc等人[3]提出了一种在多视图视频的背景下评估虚拟合成视图的质量的方法Battisti等人[2]通过比较小波子带的统计特征，提出了更复杂的框架来评估基于深度图像的渲染技术的质量，Sandic等人[30]利用形态滤波器进行多尺度金字塔分解，以获得中间视图的质量，并表明它们与主观分数具有显著更高的相关性。这些方法形成了一类特定于视图插值伪影的度量，并且包含插值视图的2D刺激用于主观实验。Vangorp等人[38]进行了一项心理物理学研究，以解释与视图插值方法相关的视觉伪影的可解释性。他们认为这些伪影是不同数量的输入图像的函数;然而，他们将研究限制在单目视觉和朗伯表面。还对预计算视频进行了实验，以判断用户交互和自由观看的动态方面的影响。最近，这项工作扩展到视频之间的转换[37]。类似的研究也是在马斯帕马斯的背景下进行的[23]。Tamboli等人[35]对3D光场显示进行了主观研究。用户被要求判断从显示器前面的不同观看位置感知的质量，并且分数在所有位置上平均。用户只能从特定的观看位置对质量进行评级。而且，他们只考虑了三个不同的场景。我们认为，为了推断光场质量，应该同时考虑所有的观点。光场显示：我们的工作重点是宽基线3D光场，它可以完美模拟立体视觉和连续水平运动视差，这对于新的光场显示器至关重要。尽管存在许多光场显示器设计[22]，包括提供聚焦提示的更先进的设计[20]，但它们存在若干缺点，例如有限的视场、不连续的运动视差、可见串扰和有限的深度预算。已经提出了几种策略，通过过滤内容[47，10]和操纵深度[15，9，22]来最大限度地减少这些伪影。然而，使得能够显示用于质量测量的参考光场的显示器设计仍然不可用。3. 数据收集我们的数据集由使用两个平行平面参数化的光场组成[16]。我们只考虑水平60图1：我们收集的所有光场的代表性图像。在每张图像下方，显示了代表性的EPI。运动视差可以用一个平面和一条平行于它的直线来描述演示期间的总差异范围仅限于0.2视觉度[31]。更正式地说，我们将我们的光场表示为L（ω，x）∈（R×R2）→R3，其中ω是直线上的一个位置，x是平面上的位置。我们称之为角坐标和空间坐标，Lv101查看u960像素X720像素3.2. 扭曲我们考虑了特定于传输、重建和显示的典型光场失真对于每个畸变，我们通过改变畸变严重程度来生成多个光场。准确的水平被选择为（ω，x） ω分别实际上，ω描述了观察者的位置，并且x是观察图像的坐标。下面，我们描述我们的光场的获取。3.1. 场景我们设计并渲染了9个合成场景，并捕捉了5个真实场景（图1）。它们跨越了各种不同的条件，例如。室外/室内、白天/夜晚等。它们还包含具有大范围不同外观属性的对象。场景对象在深度上的分布是广泛变化的，以研究由disocclusion和深度不连续引起的伪影。为了捕捉真实世界的场景，我们使用了一米长的电动线性载物台，配备了佳能EOS 5D Mark II相机和50 mm和28 mm镜头。在捕获所有视图后，我们使用PTLens[26]执行镜头畸变校正，使用Voodoo相机跟踪器[39]估计相机姿态，并使用[11]中的方法使用从第一个到最后一个相机绘制的基线校正所有图像对于渲染图像，我们使用了具有离轴非对称截头体的相机。对于真实场景，通过应用水平转向个人观点。所有的光场都具有相同的空间和角分辨率（960×720×101）。角分辨率选择得足够高以避免可见的角混叠。这是通过确保连续视图之间的最大屏幕差异来实现的大约1 pixel。为了保证舒适的观看，保持两个连续水平之间的差异很小和相似。为此，我们进行了一个小型的试点研究，有10个失真水平，然后，手动选择最终的水平。传输：为了传输光场数据，非常需要高效的数据压缩算法。我们考虑HEVC编码器的众所周知的3D扩展[36]。光场视图以各种量化步骤被编码成比特流，并且然后使用3D-HEVC编码器从比特流解码回来我们选择以下量化步骤：{25，29，33，37，41，45}。重建：光场重建技术用于从稀疏视图样本恢复密集光场。他们使用几种技术来插入丢失的视图，这些技术我们选择了从线性（LINEAR）和最近邻（NN）插值，以及图像扭曲，使用光流估计（OPT）。我们还研究了使用量化深度图（DQ）的影响所有畸变都由角度子采样因子k（畸变严重程度）参数化，该因子在应用重建技术之前定义了光场的角度分辨率nique。我们考虑k∈ {2， 5， 8， 11， 18， 25}。线性滤波器通过混合参考光来重建密集光场的引用视图，NN方法克隆最近的引用视图。对于OPT方法，我们使用TV-L1光流[29]，并应用图像扭曲技术[5]来合成中间视图。对于DQ，我们考虑了使用8个离散级别量化的然后我们61使用相同的图像扭曲技术[5]来重建光场。由于这种失真需要地面实况深度信息，因此它仅适用于合成场景。显示：作为多视图自动立体显示伪影的示例，我们选择了相邻视图之间的串扰，其可以使用角域中的高斯模糊来建模[18]。因此，我们将这些工件纳入我们的数据集（GAUSS）。特别是，我们考虑了光场反射失真中使用的相同角度子采样参数，并创建了具有相应视图数的假设显示器利用显示器串扰模型实现了对高分辨率光场的四种不同的扭曲与所有严重程度的应用到每个场景。对于所有合成场景，我们应用NN、LINEAR、OPT和DQ。对于所有真实世界场景，我们使用NN，OPT，GAUSS和HEVC。包括原始光场，我们的数据库由350个不同的光场组成，可在线获取[24]。图2中给出了产生的伪影的示例。请参考整个光场数据集的补充O原始NNLINEAROPTDQGAUSSHEVCO原始NN线性OPTDQGAUSSHEVC图2：在我们的一个场景（B ARCELONA）中引入光场的失真示例。图像可视化了每个畸变光场的中心EPI，并且其放大部分在底行中示出。4. 实验为了获得能够训练和测试不同质量度量的主观质量分数，我们进行了大规模的主观实验。设备：为了模拟具有高质量运动视差的立体观看，我们使用了我们自己的设置（图3），包括华硕VG 27827"全高清120 Hz LCD桌面显示器和NVIDIA 3D Vision 2Kit用于显示立体图像。使用自定义头部跟踪再现运动视差，其中使用Logitech HD C920 Pro网络摄像头跟踪小型LED头灯（参见补充视频）。头部追踪可以让参与者-裤子以不受约束的方式查看光场。观看距离约为60cm，并且用户可以在平行于屏幕平面的方向上沿着20cm的基线移动他们的头部。眼调节固定在屏幕上，不随眼聚散度变化。显示器在全亮度下运行，以最大限度地减少亮度对深度感知的影响[9]。LEDWebcamNVIDIA 3D眼镜立体屏幕图3：实验阶段：使用头灯和网络摄像头跟踪观看者的位置，一副NVIDIA 3D Vision 2 Kit主动式眼镜提供立体视觉。刺激：每个刺激是一对光场。由于我们用于获得质量分数的缩放程序（第5节）可以处理不完整的比较集，并且更喜欢对相似质量的配对进行更多比较[33]，每对由具有相同失真类型的相邻严重程度的光场组成。这导致了336种不同的刺激，这些刺激被立体地呈现任务：我们试验了直接评级方法，如ACR [13]，以测量失真图像的平均意见分数然而，我们发现这些方法对细微但明显的质量下降不敏感此外，参与者发现直接评级任务很难。因此，我们决定使用一种更敏感的两两比较方法，即两个选择强制选择。在每次试验中，参与者被并排展示一对光场，任务是指示用户“更喜欢在三维显示器上看到”的光场参与者被给予无限的时间来研究光场，但只有在看到80%的透视图像后才允许他们做出回应。光场对的顺序以及它们在屏幕上的位置是随机的。在每次会议之前，参与者都会收到一份总结任务的表格，并进行培训以使参与者熟悉实验。参会人员：40名参与者参加了测试，包括24-40岁的男性（20）和女性（20），视力正常或矫正至正常。每个受试者在一周内分三次进行测试。在一次会议中，参与者看到了120-对于给定的受试者，允许在一天内进行两次测试，并且这些测试至少间隔一个小时的休息时间。625. 主观数据两两比较实验的结果通常以最小可察觉差异（JND）来衡量。我们观察到，认为测量的差异是“明显的”导致不正确的解释实验结果。如果75%的观察者可以看到两个刺激之间的差异，则两个刺激相距1 JND。然而，我们的实验问题不是观察者是否能分辨出光场是否不同，而是哪一个具有更高的质量。如图4所示，一对刺激可能彼此明显不同（JND>1），但它们可能看起来具有相同的质量。因此，我们将测量值表示为恰好可反对差异（JODS）。这些单位量化了相对于完美参考图像的质量差异请注意，JOD的测量更类似于视觉等效性[28]或表示为差异平均意见得分（DMOS）而不是JND的质量。图4：仅可反对差异（JOD）和仅可注意差异（JND）之间的差异说明。受模糊和噪声影响的图像与参考图像（相同的JOD）相比可能看起来类似地退化，但是它们明显不同，因此相隔几个JNDJOD和JND之间的映射可能非常复杂，并且在该图中使用笛卡尔坐标和极坐标示出的关系仅用于说明目的。为了以JOD单位衡量结果，我们使用了基于Silverstein和Farrell方法的贝叶斯方法[33]。它采用最大似然估计器来最大化收集的数据解释瑟斯顿案例V假设下的JOD缩放质量评分的概率[27]。优化过程为每对光场找到最大化由二项分布建模的可能性与标准缩放程序不同，贝叶斯方法稳健地缩放存在一致协议的条件对。当比较大量的条件时，这样的对是常见的。它还可以扩展不完整和不平衡的成对设计的结果由于成对比较提供了相对质量信息，因此JOD值是相对的。为了保持场景之间的一致性，我们将不同场景的JOD等级的起点固定为0。扭转，因此质量下降导致负的JOD值。主观质量评估实验的结果如图5所示。误差条表示相对于参考光场的95%置信区间，其通过替换抽样的自举法结 果 表 明 ， 有 趣 的 模 式 ， 在 不 同 的 扭 曲 的objectionability。OPT提供了一个一致的性能改善，在NN。唯一的例外是家具场景具有薄的和不规则形状的前景对象，在这种情况下，所有类型的视图插值比选择最近的单个视图更客观。光流插值对于现实世界的场景效果更好在大多数情况下，LIN-插值导致最差的性能，除了小的失真水平，这可以指示由于该失真引起的可见模糊是强烈令人反感的。Van- gorp等人也报道了类似的发现。[38]在他们对单目视觉中视图插值方法的视觉性能的研究中。HEVC和GAUSS失真通常是最容易检测的，因为与其他失真相比，它们会引起大量的空间失真。结果表明，光场质量依赖于场景，成功的质量度量必须预测场景内容对光场畸变可见性的影响。6. 质量度量的评价我们考虑了几个流行的图像，视频，立体声和多视图质量指标。我们简要描述了这些指标，然后展示了它们在我们的数据集上的表现。为了使用图像质量度量来获得光场的质量，我们将度量应用于各个光场图像，然后对所有图像的分数进行平均。质量指标：尽管研究表明感知指标的性能优于绝对差（AD）[17]，但由于其在图像质量评估中的重要用途，我们考虑了峰值信噪比（PSNR）。我们还研究了广泛用于2D图像的SSIM2D [40] SSIM3D计算与标准SSIM2D，但在从光场体积提取的3D贴片上。SSIM2D×1D使用2D×1D面片，其中包含从特定视图中提取的2D窗口和从2D窗口中心延伸的1D像素行，角域（见图6）。我们将这些指标应用于所有光场图像，而不进行重新扫描，并对所有图像的分数进行平均。虽然我们尝试了各种池化策略，但我们发现平均值表现最好。由于性能更好，我们选择了-对于SSIM2D×1D，窗口大小为32和64像素，2个JOD1 JOD模糊e诺斯e埃伊马格埃伦茨Ref4 JND630-2-4-6-80-1-3-5-7-90-2-4-6-8012345 6失真水平012345 6失真水平012345 6失真水平012345 6失真水平012345 6失真水平图5：主观质量评估实验的结果。失真级别表示失真的严重程度：0-参考6-最大失真电平。JOD是缩放的主观质量值。误差条表示95%置信区间。这些条被水平移位以避免重叠。场景名称显示在每个图的角场景名称后的括号中的字符指示场景是合成（S）还是真实世界（R）。SSIM3D。我们还考虑了SSIM2D的多尺度版本-我们还使用了GMSD [45]，它在丰富的图像数据集上提供了良好的性能。在我们的实验中考虑的最先进的2D指标是HDR-VDP-2 [21]，它在基于感知的质量指标中脱颖而出。2Dx1D贴片图6：SSIM 2D扩展中使用的补丁。我们进一步考虑了NTIA通用模型-对于该度量，以从最左视图到最右视图并返回的视频平移的形式输入光场图像我们还选择了立体的Battisti等人[2]首先从参考和失真（内插）图像中对块进行移位补偿对匹配后的图像块进行第一级Haar小波变换，计算图像块中水平细节对应的子带直方图。最后，这些直方图的Kolmogorov-Smirnov距离作为度量预测。多视图视频的另一个度量是MP-PSNR [30]。它计算参考和测试图像的多分辨率然后通过均方误差比较这些金字塔顶层的详细图像。然后将所得的每像素误差图合并并转换为峰值信噪比测量。6.1. 指标性能比较由每个度量预测的质量值被期望与JOD值相关，但是这种关系可以是复杂的和非线性的。为了解释这种关系，我们遵循一种常见的做法，并拟合一个逻辑函数：图像质量度量- SIQM [ 6 ]，这是基于概念。11Σ其中，我们对实验中显示的所有立体对获得的分数进行平均。捕捉q（o）=a12− 1+ exp[a2 （o-a3）]+a4o+a5（1）除了立体质量度量的全范围之外，我们还包括立体视频质量度量ST SDLC [32]。最后，我们选择了解决多视图数据和解释插值伪影的指标。3DSW IM由其中o是度量的输出。 参数a1.. 5是优化以最小化给定的拟合优度度量。我们计算了几个这样的措施，如斯皮尔曼秩序相关，或MSE，这可以在柔性材料中找到在这里，我们报告减少卡方DQOPT线性神经网络高斯HEVC）p（R克绍Wor（R）UINneq人（R）M格罗Livin（R）玩具（R）自行车（S）伊图Furnr（S）柴（S）一免得Cobb（S）车（S）Blob）a（SElonBARC（S）ry加勒（S）儿玉米（S）房间3D补片JODJODJOD64红色红色红色红色0.90.80.7ρ0.640353025χ220红色房间，人体模型，客厅家具，玩具巴塞罗那，自行车0.50.415鹅卵石，车间10角，玩具5椅子，车间图7：以Pearson相关系数（ρ）和约简卡方表示的指标的拟合优度得分2红色）交叉验证后。显示了每个交叉验证折叠的结果。 χ 2=1表示拟合优度度量预测和主观数据之间的关系与测量的主观方差完全一致，ρ= 1表示客观评分与JOD之间存在完美的正线性关系。误差条表示标准误差。统计量（χ2）和Pearson相关系数（ρ）。x2是导致了更糟糕的结果。 很明显，有一个房间计算为平方差的加权平均值，其中权重是样本方差的倒数这是因为JOD值越大，不确定性越大（参见图5），因此其预测精度可能越低。为了进行公平的比较，我们在不同的场景中采用了七重交叉验证我们在交叉验证折叠中测量了两个随机选择的场景的拟合优度，并对所有折叠的结果进行了得到的Pearson相关性和χ2值如图7所示。图8显示了各个失真的度量性能。补充材料中提供了更详细结果表明，2D图像和视频质量指标的良好性能。这是出乎意料的，因为我们的数据集旨在强调角度伪影的可见性，而这些度量并不直接考虑这些伪影。然而，我们观察到，角度扭曲间接地转化为空间模式的差异，这可以解释良好的我们假设HDR-VDP-2和GMSD的相对更好的性能是通过检测跨多个尺度的对比度变化来实现的视频（VQM）和立体（ST SDLC）度量的可比性能可以通过它们对相邻视图之间的关系的强调来解释，这以某种方式捕获光场观看的角度方面。图8显示，某些度量在预测某些失真类型方面比其他度量更好。例如，HDR-VDP2一致地预测HEVC的质量。针对特定失真类型训练这样的度量可以实质上提高它们的性能。出乎意料的是，我们的ad hoc尝试通过添加角度维度（SSIM3D）或立即考虑3D面片来扩展SSIM2D度量(SSIM2D×1D），应考虑角度变化，以供改进，而一个适当的数据集，如本工作中提供的数据集，应有助于今后制定一个更好的衡量标准6.2. 稀疏光场参考案例在我们所有的测试中，我们提供了一个高质量的101视图光场作为质量指标的参考。在实际应用中，只有稀疏采样的光场是不可用的.当稀疏光场被用作参考时，给出全参考度量来比较没有完美参考的两个失真这是这样的度量不是为之设计的任务，因为它们旨在预测相对于完美参考图像的JOD，而不是相对于任何其他图像的JND（参见图4）。这个问题可能与其他质量评估任务共享，例如，当在4K图像上训练度量时，但它用于分辨率低得多的图像。然而，这个问题在光场的情况下加剧，其中角分辨率的降低通常是显著的。为了测试度量是否可以使用稀疏光场作为参考来预测畸变光场的质量，我们在我们的数据集的子集上测量度量的性能。作为参考，我们选择了具有失真NN和严重性级别2的光场，其对应于二次采样到21个角度视图的原始对于测试光场，我们考虑了具有较高失真水平的所有光场。为了进行公平的比较，我们还使用完整的101视图光场作为参考在同一子集上运行度量这些测试的结果在图9中显示为青色和蓝色条。拟合优度得分（用点标记）的显著差异这表明，现有的度量必须提供有高质量的参考光场，以可靠地预测质量。（χ65密集LF参考NN L2参考OPT L2参考红色6040χ2红色200客观评分客观评分图8：左：报告为降低的卡方拟合优度得分的预测精度/失真。 中右：χ2- 适合所有场景的指标HDR-VDP和GMSD。单个失真的预测精度为在图中显示，并且在图的顶部指示总体精度图像闪烁和跳跃的神经网络。我们的实验-25小牛肉如何这些不同的文物影响感知质量。20我们的主观分数来自交互式3D15光场观察设置，并精确对应于整体χ2光场的质量，而不是单个视图。我们有红1050图9：当密集LF用作参考（蓝色）时，当第二失真水平处的最近邻是参考（青色）时，或者当光流用于对参考LF进行上采样时，数据集子集的拟合优度得分。青色条上的点表示该值与密集LF情况统计学上不同，黄色条上的点表示该值与NN情况统计学上不同。通过自举法计算显著性并进行单尾检验（p= 0. 05）的情况。但是，如果没有这样高质量的参考，它可以近似吗？我们的主观数据表明，光流插值（OPT）产生最高质量的结果.因此，我们使用OPT从稀疏的21视图光场产生参考101视图光场，并重新运行子集上的结果表明，与使用稀疏光场（黄色与黄色）相比，预测得到了改善。图9中的青色条）。这表明，一个潜在的解决方案的问题，不完善的参考是使用高质量的插值方法，以产生参考。7. 结论和今后的工作我们已经建立了一个新的3D密集光场数据集，与主观质量缩放的各种失真，发生在光场应用程序。光场处理中的不同方法导致具有非常不同外观的视觉伪像线性的模糊，OPT的重影，评估了现有图像、视频、立体声和多视图质量指标在预测主观评分方面的潜力。我们的观察结果表明，指标-当密集光场不可用时，这是在一些应用中的情况，使用这些度量进行质量评估是不合理的。我们提供的感知缩放数据可用于训练和验证新的光场质量指标。这种发展的实际利益是在这项工作中确定的问题，其中不完整的，稀疏的光场必须作为参考。研究结果还揭示了不同光场重建方法的优劣，可直接指导光场重建技术的选择在目前的工作中，我们没有考虑人类视觉系统的掩蔽特性等方面。通过考虑这种影响而不是简单地对所有视图的分数进行平均来研究度量获得了多少，这可能是有趣的。在创建数据集时，我们没有考虑焦点提示。然而，我们不知道任何显示设置可以用于评估运动视差和聚焦提示质量。我们还认为，在这项工作中揭示的问题，应包括额外的线索之前解决。鸣谢：该项目得到了德国研究与创新公约（PFI）内的弗劳恩霍夫和马克斯普朗克合作计划的支持。De- nisSumin得到了欧盟地平线2020研究和创新计划的支持，该计划作者要感谢Tobias Ritschel的初步讨论和提供合成场景。NNOPT线性HEVC高斯DQJODJOD66引用[1] T. O. Aydin，M. Cadík，K. Mysz ko wski和H.- P. 赛德尔计算机图形应用的视频质量评估在ACM事务图中。，第29卷，第161页，2010年。1[2] F. Battisti，E.Bosc，M.Carli，P.L. Callet和S.佩鲁贾三维合 成 视 图 的 客 观 图 像 质 量 评 价 信号处 理 ： ImageCommunication，30（C）：78-88，2015. 二、六[3] E. Bosc，F.巴蒂斯蒂湾Carli和P.勒·卡勒一种基于小波的三维合成视图图像质量评价方法.在Proc. SPIE，第8648卷，第86481 Z 2[4] E.博斯克河Le Callet，M. Köppel，P. Ndjiki-Nya，M. Pressigout和L.桑色素一种新的三维合成视图质量评价 方 法 IEEE Journal on Selected Topics in SignalProcessing，第J-STSP-ETVC-00048- 2011页2[5] T. Brox，A.Bruhn，N.Papenberg和J.Weickert 基于变形理论的高精度光流估计 在计算机中。看ECCV2004年，第25-36页。Springer，2004.三、四[6] M.- J. 陈春C. Su，D.-K. 权湖K. 科马克，以及A. C. 波维克考虑竞争的立体像对的全参考质量评估信号处理：图像通信，28（9）：1143-1155，2013年。6[7] 斯坦福大学计算机图形学实验室。斯坦福大学光场档案 馆 （ Stanford Light Field Archive ） http ：//lightfield. stanford.edu/acq.html ， 2008 年 。2016-04-23. 2[8] D. G. Dansereau，D. L.邦焦尔诺岛Pizarro和S. B.威廉姆斯使用线性四维超频全聚焦滤波器的光场图像去噪。在2013年SPIE计算成像会议（SPIE'13）的会议记录中1[9] P.Didyk ， T.Ritschel ， E.Eschermann ， K.Myszkowski，H. P. Seidel和W.马图西克亮度-对比度感知视差模型及其应用。 ACM Trans. Graph. ，31（6）：184，2012.二、四[10] S.- P. 杜，P.Didyk，F.Durand，S.-M. Hu和W.马图西克提高自动多视显示器中视图转换的视觉质量。ACM事务处理图表，33（6）：192，2014. 2[11] A. Fusiello，E.Trucco和A.维里立体声对校正的一种紧凑算法 马赫视觉应用，12（1）：162000年7月3[12] R. S. 伊加河F. L. 查韦斯河B. 莱特河亚瑟Y.亚诺jpeg，jpeg2000与spith全光图像压缩比较。网络期刊：JSAT，3（6），2013. 1[13] ITU-T-P.910.多媒体应用中的主观视听质量评价方法。技术报告，2008年。4[14] C. Kim，H. Zimmer，Y. Pritch，A. Sorkine-Hornung，M.恶心高空间角分辨率光场的场景重建。 ACM Trans.Graph. ，32（4）：73：12013年7月2[15] M. Lang、A.霍农岛Wang，S.Poulakos，A.斯莫利奇，以及M.恶心 用于立体3D的非线性视差映射。ACM事务处理图表，29（4）：75：1-75：10，July 2010.2[16] M. Levoy和P.汉拉汉光场渲染。第23届计算机图形和交互技术，第31-42页，纽约，NY，USA，1996. ACM。一、二[17] W. Lin和C.- C.郭敬明感知视觉质量指标：一个调查。 J.目视Commun. 图像表示。，22（4）：2975[18] J. Liu，T. Malzbender，S.钦湾，澳-地张角A. wu和J·戴维斯用于多视图自动立体显示器的动态映射。InProc. SPIE，vol. 9391，第1 - 1：1- 1 - 1：8页，2015。4[19] Lytro Lytro 电 影 院 https://www.lytro.com/cinema ，2016年。查阅时间：2016-15-11。1[20] A. Maimone湾Wetzstein，D.Lanman，M.赫希河Raskar和H.福克斯焦点三维：压缩住宿显示。ACM事务处理图表，32（5）：1-13，2013. 2[21] R. Mantiuk，K.J. Kim，A.G. Rempel和W.海德里希HDR-VDP-2：在所有亮度条件下用于可见性和质量预测的校准视觉度量。 ACM Trans. Graph. ，30（4）：40：1-40：12，2011. 6[22] B. Masia，G.Wetzstein，P.Didyk和D.古铁雷斯计算显示器的调查：推动光学、计算和感知的边界。Comput.Graph. ，37（8）：1012 2[23] Y. Morvan和C.奥沙利文在全景图像的过渡中处理遮挡器 ： 一 项 知 觉 研 究 。 ACM Trans. Appl. 感 知 。 ， 6（4）：1-15，2009. 2[24] MPI 。 光 场 档 案 http ： //lightfields. mpi-inf.mpg.de/Dataset.html，2017年。访问时间：2017- 07-04。4[25] M. H. Pinson和S.狼客观测量视频质量的新标准化方法。IEEE Transactions on Broadcasting，50（3）：312-322，2004。二、六[26] PTLens 。 镜 头 畸 变 校 正 软 件 。 http ： //www.epaperpress.com/ptlens/ ， 2016 年 。 查 阅 时 间 ：2016-15-11。3[27] 拉斐尔·K。曼秋克 用于成对比较实验的瑟斯顿标度。https://github.com/mantiuk/pwcmp ， 2016 年 。 查 阅 时间：2016-15-11。5[28] G. 拉马纳拉亚南Ferwerda和B.Walter. 目视等同性：一个新的图像保真度标准。ACM Transactions on Graphics（TOG），26（3）：76，2007。5[29] J. Sánchez Pérez，E.Meinhardt-Llopis和G.法乔洛TV-L1光流估计。Image Processing On Line，3：1373[30] D. Sandic-Stankovic，D. Kukolj和P.勒·卡勒基于形态金字 塔 的 多 尺 度 合 成 视 图 评 价 。 电 气 工 程 杂 志 ， 67（1）：3 二、六[31] T. Shibata，J. Kim，D. M. Hoffman和M. S.银行的舒适区：预测立体显示器的视觉不适。J. Vis. ，11（8）：11：1-11：29，2011. 3[32] V. D.席尔瓦，H。K. Arachchi，E. Ekmekcioglu和A.康-多兹。针对立体视频的损伤度量：用于评估压缩立体视频的全参考视频质量度量。IEEE Transactions on ImageProcessing，22（9）：3392-3404，2013年9月。6[33] D. Silverstein和J.法雷尔配对比较的有效方法。 J. 电子学。 Imaging，10（2）：394 -398，2001. 四、五67[34] M. Solh和G.AlRegib. MIQM：一种新的多视角图像质量测量方法。多媒体体验质量，2009年。QoMEx 2009。国际研讨会，第186-191页，2009年7月2[35] R. R.坦博利湾Appina，S. appayya和S.嘉娜具有高角度分辨率的超级多视图内容：水平视差光场显示器的3D质量评估。信号处理：图像通信，47：422[36] G. 技术，Y。Chen，K.Müller，J.R. Ohm，A.Vetro和Y.K.王. 高效率视频编码的多视图和3D扩展的概述IEEETransactionsonCircuitsandSystemsforVideoTechnology，26（1）：35-49，Jan 2016. 3[37] J. Tompkin，M.H. 金，K.I. 金，J.Kautz，和C.希奥博尔特地点视频转换的偏好和伪影分析ACM Trans.Appl. 感知。，10（3）：13：12[38] P. Vangorp湾Chaurasia，P.Y. 拉丰河W. 弗莱明，以及G.讨厌鬼基于图像的立面渲染中视觉伪影的感知。Comput. Graph. Forum，30（4）：1241- 1250，2011.二、五[39] 维斯可达Voodoo Camera Tracker. http://www.viscoda的 网 站 。 com/zh/voodoo-download ， 2016. 查 阅 时间：2016-15-11。3[40] Z. Wang，中国山核桃A. C. Bovik，H. R. Sheikh和E.西蒙切利图像质量评估：从错误可见性到结构相似性。IEEE Trans. 图像处理。，13（4）：600二、五[41] Z. Wang，中国山核桃E. P. Simoncelli和A. C.波维克图像质量评价的多尺度结构相似性信号，系统和计算机，2004年。《第三十七次阿西洛马会议记录》，第2卷，第1398-1402页，第2卷，2003年11月。6[42] S. Wanner，S. Meister和B.戈德卢克密集采样4d光场的数据集和基准测试。2013. 2[43] G. Wetzstein，D. Lanman，M. Hirsch和R. 拉斯卡张量显示：使用具有定向背光的多层显示器的压缩光场合成。ACM事务处理图表，31（4）：1-11，2012. 1[44] B. Wilburn，N.Joshi，V.Vaish，E.诉Talvala，E.安图内斯，A. Barth，A.亚当斯，M。Horowitz和M.勒沃使用大型相机阵列的高性能成像 ACM Trans.Graph. ，24（3）：765-776，2005. 1[45] W.薛湖，加-地Zhang，X. Mou和A. C.波维克Gradientmagnitude similarity d