SoftwareX 8（2018）64原始软件出版物使用大规模数据库方法的客观视频质量测量的可再现研究框架Ahmed Aldahdooha，*，Enrico Masalab，Glenn Van Wallendaelc，Marcus BarkowskyaaQuatatoire des Sciences du Numérique de Nantes（LS2N）-UMR 6004，Université de Nantes，Nantes，Franceb意大利都灵理工大学控制与计算机工程系，地址：corso Duca degli Abruzzi 24，10129 Torino，ItalyC 根特大学ar t i cl e i nf o文章历史记录：2017年9月27日收到2017年9月27日接受关键词：可再现性研究大数据库分析视频质量a b st ra ct这项工作提出了一个框架，以促进视频质量评价的研究再现性。它的初始版本是围绕HEVC编码视频序列的JEG-Hybrid数据库构建的该框架是模块化的，以流水线活动的形式组织，其范围从从参考信号生成整个数据库所需的工具到分析数据库中已经存在的视频质量测量。研究人员可以重新运行，修改和扩展任何模块，从管道中的任何点开始，同时始终实现结果的完美再现。结构的模块化允许在数据库的子集上工作，因为对于某些分析来说，这可能过于计算密集。为此，该框架还包括一个软件模块来计算整个数据库的编码条件方面的感兴趣的子集一个例子显示了如何使用该框架来研究广泛的PSNR度量定义中的微小差异如何产生非常不同的结果，在我们附带的研究论文Aldahdooh等人中进行了更详细的（0000）。这进一步强调了可重复性的重要性，以便以高置信度比较不同的研究工作。据我们所知，该框架是第一次尝试在视频质量评估研究的背景下实现端到端的©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本V。1.0版用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-17-00069法律代码许可证LGPLv3使用git的代码版本控制系统软件代码语言、工具和服务使用python、Matlab、shell脚本编译要求、操作环境依赖性Windows Linux如果可用，链接到开发人员文档/手册https://gitlab.com/gvwallen/ReproducibleQualityResearch咨询支持电子邮件ahmed. etu.univ-nantes.frMarcus. univ-nantes.frenrico. polito.itglenn. ugent.be1. 动机和意义客观视频质量算法领域缺乏可重复的研究。科学进步受到现有算法的缺失实现和缺失测试的影响原文DOI：http://dx.doi.org/10.1016/j.dsp.2017.09.013。* 通讯作者。电子邮件地址：ahmed. univ-nantes.fr（A. Aldahdooh）。https://doi.org/10.1016/j.softx.2017.09.004数据实现往往是失踪，因为个人作者犹豫公布他们的代码，从而需要reimplement- mentation复杂的算法。由于算法正确性的测试数据也经常丢失，重新实现可能无法验证。因此，在该领域发表的比较依赖于不确定的数据。本文所描述的软件有三个目的。首先，它提供了一个环境，用于计算一个可重复的大规模数据集的压缩视频序列，可以用作测试数据和算法的比较。其次，该框架提供了提供不同的2352-7110/©2017作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxA. Aldahdooh等人/SoftwareX 8（2018）6465× ××Fig. 1. 软件架构显示了活动组件（蓝色大框）和通信目录（橙色小框）的管道。峰值信噪比（PSNR）测量作为更复杂算法的计算和科学研究中的比较的示例，因为大多数研究人员将他们的工作与PSNR进行比较。第三，提供了一种可以针对不同研究问题的子集选择算法，该算法允许在大型数据库的部分上运行计算昂贵的算法，同时保留用于分析的重要特征该软件包有助于开发和评估客观的视频质量测量算法。研究人员可以重新生成测试数据集，并提供其算法的结果由于大规模数据集的大小，如果仔细选择测试设计，则可以减少过度训练的可能性，因此还可以进行不同算法之间的比较最后但并非最不重要的是，它使该领域的研究人员意识到，即使算法中的微小差异也可能导致其算法结论的重要差异，从而提供动力用于精确描述或已发布的参考软件。在[1]中提出了使用该框架的此类研究的示例。2. 软件描述所提出的软件解决方案为一组可用的新工具提供了粘合剂，其最大目标是视频质量的研究2.1. 软件构架该软件由一个流水线架构组成，其中每个活动组件使用指令与其他组件进行通信（见图1）。①的人。下面将解释每个单独的组件2.1.1. 大规模编码环境The此 时 ， 该 模 块 包 括 在 HEVC 标 准 化 参 考 编 码 包（http://hevc.kw.bbc. co.uk/svn/jctvc-a124/tags/HM-11.1/），伴随着一组有价值的配置文件和脚本，以便再现或扩展HEVC大规模数据库的第一版本每当所提出的视频质量分析框架需要用更新的版本、更多的压缩标准、其他压缩参数或网络损伤模拟来改进时，则必须仅扩展该块。请注意，HEVC参考软件的最新版本可能会改变此可再现数据集的结果，因此应被视为不同的数据集。2.1.2. 子集选择如果选择合适的HRC来表示大规模数据库，则该过程有利于研究工作，因为运行所有HRC需要大量的计算能力。因此，该组件由两个子集选择算法组成。第一个被优化以覆盖不同的质量和比特率范围。第二个算法是针对具有不同源内容的不同行为的HRC优化的。这两种算法在随附的DSP论文[1]中有进一步的详细说明。2.1.3. 质量测量“质量测量”组件由一系列完整的参考质量测量组成，如峰值信噪比（PSNR）、结构相似性（SSIM）、多尺度结构相似性使用洛桑联邦理工学院（EPFL）的视频质量测量工具（VQMT）将2.1.4. 质量度量分析“质量测量分析”组件侧重于从完整的参考质量测量数据库中提取相关数据，并对其进行处理以执行分析。在这项特殊的工作中，我们提取帧级MSE和PSNR值，通过平均MSE或PSNR来比较时间池化的效果。此外，还计算帧级PSNR的方差，并使其可用于下一个可视化块。该模块可以很容易地定制，以处理数据库中存在的或通过相同格式的文件提供的不同措施。此外，其他指标（例如，移动平均）可以被包括在可视化块的输出中。2.1.5. 可视化“Visualization "块目前是一组gnuplot命令文件，可用于轻松地特别是，它们可以自动生成散点图，并在一些定制开发的外部模块的帮助下生成插值参数，以实现更好的可视化。2.1.6. 验证创建大规模数据库需要几个步骤，可能会导致结果的差异。这范围从编译HEVC编码器时的系统库的不同版本到随机存储介质缺陷。为了避免无效比较，对于大规模数据集的每个比特流，提供了SHA512校验和形式的哈希值[2]，可以通过其GNU实现（sha512sum）进行验证3. 软件功能和说明性示例该软件包包含在不同语言环境中编写的脚本，但可以在Linux和Win-Linux平台上执行。 软件包内容如图所示。二、它包含两个目录'DATA'和'SoftwareLibraries'。“DATA”目录包含 子 目 录 ， 子 目 录 包 含 源 数 据 和 运 行 软 件 的 输 出 ， 可 以 在“SoftwareLibraries”中找到。首先，源内容应放在（DATA/SRC）中 。 当 前 的 脚 本 处 理 三 种 分 辨 率 （ 960 544 、 1280 720 和 19201080）。在第一个模块（大规模编码环境）中，必须运行文件（Soft-wareLibraries/ENC_SRC/ENC_lin.py）以生成和编码整个编码条件（ENC_win.py是Windows脚本）。The ‘.265’“.265”是比特流文件，“.txt”是编码信息。质量度量模块计算目标66A. Aldahdooh等人/SoftwareX 8（2018）64图二. 软件包的内容。通过运行“SoftwareLibraries/DEC.py”进行质量度量。软件将首先解码比特流文件（.265文件），然后使用（ SoftwareLibraries/VQMT_Binaries/VQMT.exe ） 计 算 PSNR 、SSIM 和 VIF 质 量 测 量 ， 并 将 每 帧 输 出 和 平 均 输 出 保 存 在（DATA/QUAL）文件夹中的单独文件中，如图3的B.1部分所示。本模块的最后一步是运行“SoftwareLibraries/AggregatePSNRtoCSV.py”，将所有质量度量聚合到两个文件中，参见图3的B.2部分;一个文件保存序列级记录，参见图3的B.3部分，第二个文件保存序列和帧级记录，参见图3的B.4部分。3.第三章。为了处理HRC的子集，必须执行可选模块“子集选择”。第一步是为MATLAB函数：“getBitrateQuality-DrivenHRC.m”和“getContentDrivenHRC.m”（可在（SoftwareLibraries/ENC）中找到）聚集输入数据输入数据采用两个矩阵的形式这两个矩阵的格式如下：MxN，其中M表示HRC的总集合，N表示源内容的数量。它们可以从第一个模块输出的“.txt”中聚合。此可选模块将包含选定HRC的“.txt”和“.csv”文件保存在（DATA/ENC_ENC）文件夹中，参见图C.1和C.2部分。3.第三章。在“质量度量分析”中是计算出来的。数据库已经包含了每帧的PSNR，而MSE可以通过'script_create_other _pencil_data_and_msefile. py'反转PSNR公式来计算。接下来，'script_create_pencil_stddev_per_frame.py'独立地处理每个HRC，自动匹配所有值（例如，PSNR和MSE），即使存储在不同的文件中（例如， 每个测量类型一个），并计算包括PSNR的方差的序列级指示符例如分配点的平均数量和平均距离。在visualize模块中，提供了gnuplot命令文件来直接生成我们的配套文件[ 1 ]中显示的所有类型的散点图，以便与新的研究结果进行即时比较，见图。 4，也包括插值线。4. 影响由于我们工作的主要重点是在视频质量分析的背景下为可再现的研究提供有效的工具，因此该软件的设计和验证可以准确再现数据库中的所有数据以及我们随附的论文[1]中提出的所有结果然而，我们要强调，同一个软件，只要稍加修改，来寻求新的研究问题。例如，对于PSNR分析部分，使用不同的每帧质量度量（如SSIM或VIFP）或测试各种时间池化策略的不同结果来重用软件非常容易。同时，可以计算和测试新的合成质量指标，例如，因此，虽然软件本身可能看起来相对简单，但我们认为它可以极大地促进对新研究问题的追求，这些问题可以通过挖掘数据库中现有的大量数据来解决。注意，三个广泛的帧级视频质量度量，即，PSNR、SSIM、VIFP已经在数据库中可用，并且可以立即用于分析，而其他测量可以通过有限的实施工作来添加。从以下出版物清单中可以看出这项工作迄今为止这些出版物使用所提出的可再现的研究框架，以便运行有利于视频编码和视频质量社区的不同类型的分析使用[ 3 ]中提供的管道中的引入了质量度量一致性的概念，比较了不同源内容的不一致性来源从[3]中可以得出的一个结论是，VIF和SSIM在排序上更经常地一致。软件管道的影响也可以在[4]中看到。本文利用本文的“大规模编码环境”组件所产生的大规模数据库，比较了不同质量度量在损失受损序列中的行为，并试图借助内容特征来因此，作者能够重复使用提供的160 h视频序列，而无需投入资源再次编码这些序列。为此2PSNR ），并在我们的随附文件[1]中进行了详细分析工作，HEVC参考解码器，本软件中包，已被修改为处理数据包丢失。这请注意，该软件可以很容易地扩展到包括其他时间池策略，或使用其他指标，如SSIM。所有结果都以逗号分隔值（csv）格式导出到文本文件中，每个HRC一行，见图。 四、其 他 实 用 软 件 可 执 行 HRC 过 滤 操 作 （ “script_filter _HRC.py” ），累积分布函数（CDF ）计算，同时保留所有原始信息（'script_compute_perpoint_cdf_function_over_PSNR_G-PSNR_A.py'），线性插值函数的计算（ “script_linear_interpolation. py” ） 和两 个点 云分 布的相 似性（“script_similarity. py”），通过将一个图中的点分配给另一个图中最近的点，然后计算统计数据，此外，允许调查客观质量指标的性能，在大规模数据丢失的情况下，特别是通过比较二进制测试的结果，其中必须选择最佳序列。在[5]中，作者修改了现有流水线的最后阶段，以借助于解码序列的提取的比特流特征来预测峰值信噪比全参考度量此外，[5]中的作者还修改了所提出的管道的“子集选择”组件，以研究测试集内信息多样性的重要性·（σ··A. Aldahdooh等人/SoftwareX 8（2018）6467图3.第三章。第1部分示例。它显示了在[6]中，作者修改了这项工作的本文提出的完整软件链已在[1]中用于研究不同池化策略对PSNR度量的影响目前，我们不知道任何其他类似的研究框架工作的视频质量在这样大的规模。虽然该项目仍处于起步阶段，但我们预计许多用户将能够 利用我们在本文 中介绍的软件 在视频质量专家 组（VQEG）的背景下，学术合作伙伴甚至一些私营公司都表示了兴趣下载所有软件来测试和分析他们正在开发的新指标。这项工作得到了VQEG联合工作组的大力支持，该工作组将学术和工业研究结合起来，利用大规模实验来改善视频质量5. 结论所提出的框架已被设计，以促进再现性的视频质量评价的研究。它旨在提供可供其他研究人员扩展或重用的构建块，该框架还旨在简化数据库子集的使用··68A. Aldahdooh等人/SoftwareX 8（2018）64见图4。第二部分示例它显示了质量度量分析和可视化模块。当大规模测试在计算上是不可行的。据我们所知，这是在视频质量评估研究领域中首次尝试将精确的再生产端到端我们希望，这一框架将进一步扩大，通过贡献的参考实现新的措施，指数或简单地通过扩大数据库的手段，新的内容，编码条件等。这样研究人员就可以很容易地从中吸取经验来推进他们的研究活动。所有的软件都可以很容易地修改和扩展，它是在LGPLv3许可证下发布的致谢部分计算资源由HPC@POLITO（http://www.hpc.polito.it）提 供 。 该 工 作 的 一 些 部 分 由 Marie Skeliodowska-Curie 在PROVISION（感知优化视频压缩）项目下支持，该项目具有授权号608231和呼叫标识符：FP 7-PEOPLE-2013- ITN。本文中描述的 研 究 活 动 部 分 由 根 特 大 学 、 imec 、 佛 兰 德 创 新 创 业（VLAIO）、佛兰德科学研究基金（FWO-Flanders）和欧盟资助这项工作的某些方面是使用根特大学的STEVIN超级计算机结构进行的。引用[1] 放大图片作者：Aldahdooh A，Masala E，Van Wallendael G，Barkowsky M.可再现客观视频质量研究框架及PSNR实现案例研究，Elsevier Digital SignalProcessing [出版中]。[2] FIPS P. 180-4。安全哈希标准（SHS）2012。[3] 范·沃伦代尔G，斯塔伦斯N，马萨拉E，巴科夫斯基M.全高清HEVC编码视频质量评估数据库。第九届国际视频处理和质量研讨会，VPQM。2015年。[4] [10]杨文，杨文.在大规模数据库上比较丢失受损视频序列的简单视频质量度量。第 八 届 多 媒 体 体 验 质 量 国 际 会 议 ， QoMEX 。 2016 年 。 p. 1 比 6 http：//www.example.comdx.doi.org/10.1109/QoMEX.2016。 7498941[5] Shahid M，Panasiuk J，Van Wallendael G，Barkowsky M，Lövstöm B.使用基于HEVC位流的无参考特征预测全参考视频质量测量。在：第七届多媒体体 验 质 量 国 际 研 讨 会 ， QoMEX 。 2015 年 。 p.1 比 2 。http://dx.doi.org/10.1109/QoMEX.2015.7148118网站。[6] 放大图片作者：AldahdoohA，Masala E，Van Wallendael G，Barkowsky M.在大规模数据库上比较快速客观视频质量度量的时间行为。第32届图片编码研讨会，PCS。IEEE;2016.
