视觉信息学3（2019）157基于块对应的时变体数据探索统一框架陆克诚a，王超丽b，吴克勤c，龚明伦d，王云海a，王伟a中国山东省山东大学计算机科学与技术学院b美国巴尔的摩县马里兰大学计算机科学与电气工程系c国家海洋和大气管理局，华盛顿特区，关闭CO，USAd加拿大安大略省圭尔夫市圭尔夫大学计算机科学学院ar t i cl e i nf o文章历史记录：2019年8月31日收到2019年10月6日接受在线预订2019年保留字：时变数据可视化块对应特征提取与跟踪a b st ra ct时空体数据集的有效探索仍然是科学可视化的关键挑战。虽然多年来已经取得了很大的进步，但现有的解决方案通常只关注数据分析和可视化的一个或两个方面。仍然缺乏一个以全面和统一的方式分析时变数据的简化工作流程。为了实现这一目标，我们提出了一种新的方法随时间变化的数据可视化，包括关键 帧 识别 ， 特 征 提 取和 跟 踪 下 一 个单 一 的 ， 统 一的 框 架 。 我 们方 法 的 核 心在 于在 GPU 加 速 的BlockMatch方法中，这是一种密集块对应技术，从2D像素到3D体素的PatchMatch方法。基于密集对应的结果，我们能够使用k-medoids聚类以及双向相似性度量。此外，结合图切割算法，该框架使我们能够执行细粒度的特征提取和跟踪。我们使用几个随时间变化的数据集来测试我们的方法，以证明其有效性和实用性。2019浙江大学出版社版权所有由爱思唯尔公司出版这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍超级计算能力的巨大增长使得能够从自然现象的直接数值模拟中生成和研究越来越大规模的时变体积数据集时变数据在几乎所有科学领域都是普遍存在的。它们本质上是动态的，包含数百到数千个时间框架。因此，对时变数据的有效分析和可视化对于科学家检验他们的假设和发现见解起着至关重要的作用。但是，随着所研究的现象变得越来越复杂，很难确定感兴趣的区域。为了应对上述挑战，研究人员提出了不同的解决方案，包括寻找关键帧，聚类数据，跟踪特征和设计适当的传递函数等。然而，这些解决方案中的许多方案仅关注数据分析的一个或两个方面，缺少以全面和统一的方式分析数据的简化工作流程比如说，*通讯作者。电子邮件地址：lukecheng0407@gmail.com（K. Lu），chaoli.wang @nd.edu（C.Wang），keqin. noaa.gov（K.Wu），minglun@uoguelph.ca（M.Gong），cloudseawang@gmail.com（Y.Wang）。同行评议由浙江大学和浙江大学出版社负责。https://doi.org/10.1016/j.visinf.2019.10.001现有的解决方案通常利用数据值或特征量的分布，并应用信息论概念或概率混合模型来分析数据（Wang等人，，2008;Dutta andShen，2016）.这些方法忽略或不强调数据中涉及的重要空间信息，因此不能在体素级别执行准确的特征其他工作将体素随时间的值处理这些技术能够实现细粒度的特征聚类并支持时间相干的传递函数设计，但是对于更鲁棒的分类，不考虑体素周围的邻域信息。为了识别关键帧或代表性时间步长，先前的工作还诉诸于基于密度或分布的解决方案（Wang et al. ，2008; Tong et al. ，2012年;Frey和Ertl，2017年），而没有适当注意时变数据集中表现出的更高层次的结构信息我们的工作遵循最近的趋势特征匹配，稀疏级（例如，尺度不变特征变换，SIFT（Lowe，2004））到密集级（例如， PatchMatch（Barnes et al. ，2009））在计算机视觉和图像处理中。最近的一项工作（Frey和Ertl，2017）使用质量输运理论来计算两个体积之间的转换。空间信息在那里被用于分析体积，但密集对应没有2468- 502 X/©2019浙江大学和浙江大学出版社。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinf158K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157被 剥 削 了 。 我 们 将 二 维 像 素 PatchMatch 扩 展 到 三 维 体 素BlockMatch，使随时间变化的体积数据集的密集块对应这一步是至关重要的，我们分析的时变体数据在一个整体的方式，因为详细的变化模式的数据可以获得的基础上的对应信息。利用GPU，我们能够经济高效地产生密集的对应关系，这使我们不仅可以执行细粒度的特征提取和跟踪，还可以以更准确的方式从整个时间序列中识别关键帧。因此，我们能够提出一个完整的框架，将关键帧选择，特征提取和跟踪统一到一个单一的框架中，用于时变数据分析和可视化。2. 相关工作2.1. 时变数据可视化时变数据可视化是科学可视化中的一个重要课题，自20世纪90年代初以来一直是研究的热点。与时不变数据相比，时变数据可视化的主要挑战在于如何利用数据的时间相关性进行有效的处理、组织和绘制，以及如何捕捉时变数据特征在空间和时间上的动态变化以便于视觉理解。在下文中，我们讨论了时间模式匹配和聚类、特征提取和跟踪以及代表性时间步长选择方面的相关工作。时间模式匹配和聚类。时变数据可视化的另一个工作流集中在识别聚类和排序的时间特征或趋势。结果不仅提供了一个紧凑的视图的时间演变的数据，但也给出了建议的传递函数规格。受正则表达式和文本字符串搜索中的globbing的启发，Glatter et al.（2008）开发了一种用于指定和识别时间模式的文本模式匹配方法。由于时间模式本质上是连续的，它们可以在规范中包含不同的变量。Wanget al.（2008）采用了一种分块方法，使用信息理论中的条件熵来推导数据块由此产生的重要性曲线揭示了数据块的时间特性，用于块聚类和时变特征突出显示。Woodring和Shen（2009）假设行为相似的体素属于相同的特征，并在数据中搜索随着时间推移具有相似行为的类，以进行时间聚类和排序。簇序列用于推导传递函数。在另一项工作Woodring和Shen（2009）中，他们提出了基于不同时间分辨率的时变趋势来发现和突出显示数据。小波变换用于将随时间变化的体素值转换为多尺度时间序列曲线，这些曲线被聚类并显示在电子表格视图中以供用户探索。Lee和Shen（2009）使用SUBDTW研究了重要的多变量时间趋势，并使用它们来描述时变多变量数据集中不同变量之间的相关性和因果效应Gu和Wang（2013）将数据压缩、索引和分类统一到一个框架中。利用分层符号表示，他们以时间活动曲线的形式构建了底层时变数据的可索引版本，并从中创建了一个名为iTree的可视化Wang等人（2016）将来自多个字段的信息捆绑到模式描述中。他们使用3D SIFT算法为每个标量场提取了一组稀疏的不变特征。用户能够通过刷涂将模式定义为多个字段中的一组SIFT特征，并随着时间的推移定位匹配特征。特征提取和跟踪。提取特征并随时间跟踪它们是时变数据可视化的重要任务。Samtaney等人（1994）提取的特征（即，满足特定标准的区域），并在相邻时间步中的特征之间进行对应他们通过质心、体积和质量等属性来匹配特征为了快速识别空间上的特征重叠，Silver和Wang（1997）利用八叉树来存储所有特征，使用空间重叠来确定匹配的特征候选，并应用归一化体积差异测试来从候选中选择最佳匹配。Woodring和Shen（2009年）根据输入的时间-活动曲线确定了特征或聚类，一个时间间隔，并创建了一个有向图，随着时间的推移连接集群。为了找到特征之间的联系，他们通过计算时间直方图的距离来估计将一个特征转移到另一个特征的概率。Ozer等人（2014）介绍了使用Petri网来建模和检测科学可视化中的活动。他们利用Petri网对感兴趣的活动进行建模，并根据特征提取和跟踪的结果运行算法进行Dutta和Shen（2016）设计了一种分布驱动的方法，该方法利用对象与目标特征的运动和相似性，并融合从中获得的信息 以在每个时间步长生成分类字段。 准确和鲁棒的特征跟踪实现的基础上产生的特征感知的分类领域。在本文中，我们允许用户在关键帧中标记特征，并为中间帧生成掩码体积。特征跟踪是通过图切割算法的体积特征分割来实现的。代表性时间步长选择。当时变数据集中的时间步长数量很大时，选择重要的时间步长成为一个问题。这类似于视频分析中的关键帧选择。为了识别代表性的时间步，Wang等人（2008）将时间序列划分为各个段，每个段内他们从每个片段中选择一个代表性的Tong等人（2012）应用不同的度量来计算数据集之间的距离，并采用动态规划策略来选择最有趣的时间步长。Frey和Ertl（2017）提出了一种适用于流媒体和原位设置的时间该方法基于渐进体积变换，可以插值并提供数据集之间的有意义的距离。他们的解决方案选择了一组时间步长，可以在不超过给定误差范围的情况下重建时间序列。在Frey和Ertl（2016）的另一项工作中，他们提出了一种不同的时间步长选择解决方案，该解决方案基于最小流技术优化完整数据的覆盖范围，以确定时间步长之间的有意义的距离受如何从视频处理中检测关键帧的启发，我们使用密集块对应方法和k-中心点聚类方法的组合来识别代表性时间步长或关键帧。2.2. 图像和视频估计两幅图像之间的对应关系是计算机视觉中的一个基本问题（Szeliski，2006）。它通常通过匹配一组稀疏的关键点或通过匹配两个图像中的所有像素为了提高效率，已经提出了许多方法来建立稀疏对应，其中通常使用基于SIFT的对应（Lowe，2004）搜索这些方法对于诸如3D重建和对象检测之类的许多任务都很有效，但是对于诸如纹理合成和图像完成之类的应用，K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157159∑×=→··→∈∈Fig. 1. 我们的方法分析和可视化随时间变化的体积数据包括对应搜索（a）和关键帧选择（b）。我们的方法的应用是特征跟踪（c）。内在地要求密集的对应。我们在特征跟踪和传递函数融合方面的应用都要求三维体中的体素之间具有密集的对应关系。相反，可以通过估计光流来容易地获得视频序列的密集对应。具体而言，它将两个相邻帧之间的对应关系公式化为通过全局优化求解的2D流场的估计（Brox和Malik，2011）。由于该方法假设本地-该算法具有流的一致性和平滑性，能有效地处理小变化的图像，但在大位移情况下可能无法匹配目标。另一方面，其涉及的全局优化是非常耗时的大图像。相比之下，Barnes等人提出的PatchMatch。（2009）不仅可以比以前的方法快一个数量级地找到密集对应，而且可以处理具有大位移的对象。由于这些优点，它已被用于许多不同的应用，如视频摘要（Barneset al. ，2010）、图像融合（Darabi et al. ，2012）和艺术画笔的合成（Lu et al. ，2013）。在这项工作中，我们将其扩展到 三维体数据，并证明其实用性随时间变化的体积可视化。3. 概述我们的目标是在时变数据中发现密集的对应关系，从中我们可以以整体的方式分析不同时间框架之间的关系，并更好地可视化底层数据。图1说明了我们的块对应的时变数据勘探方法主要组成部分是：通信搜索。我们的方法首先将Patch- Match方法从2D图像处理扩展到BlockMatch方法，该方法计算每对体积帧之间的3D块对应关系（第4.1节）。密集的体素级的对应关系，获得使用重叠块中心在每个体素。关键帧选择。在第4.2节中，我们使用双向相似性度量来测量体积之间的距离，并导出体积距离矩阵，从中我们采用k-中心点聚类方法来识别关键帧。应用. 随着关键帧和帧间建立的对应关系，我们设计了一种块投票方法，用于将关键帧上定义的信息传播到中间帧（第5.1节）。传播的信息可用于跟踪和提取时变容积序列的特征（第5.2节）。4. 对应分析给定一个随时间变化的体积数据序列，我们希望通过首先在不同体积之间进行匹配，然后在序列中选择关键帧来分析内容。4.1. 区块匹配我们的第一个任务是找到所有体积对的对应关系。也就是说，对于任何给定的两个体积S和T，我们求解以下优化MST（s）argminD（s，t） ，（ 1）t∈ T其中sS和tT是两个体积中的体素，MST是它们之间的映射。D（，）度量属性空间中的距离，其中属性可以是标量值或多变量值向量。虽然我们的目标是在体素之间建立密集的对应关系，但直接搜索每个个体体素的最佳匹配并没有考虑相邻的上下文，因此经常导致不匹配（Wexler et al. ，2007）。因此，我们将D（s， t）定义为以s和t为中心的两个块内的对应体素之间的属性距离之和。也就是说，D（s，t）=f（s+k）−f（t+ k）k∈Γ其中r是包含从中心体素x连接到块域中的所有体素（包括x本身）的向量的集合。f（x）是在x处定义的属性。由于给定体素x的最佳匹配是使用以x为中心的体素块来确定的，因此可以有效地解决失配问题。另一方面，相邻体素的块彼此重叠，从而允许计算密集对应。上述优化的原始蛮力搜索是昂贵的：对于具有N个体素和块大小为M的体积为O（M N2）。因此，我们选择采用PatchMatch算法（Barnes et al. ，2009），其在为图像对构建基于块的密集对应中的效率是已知的。对于源图像中的每个块，它在目标图像中找到 近 似 最 近 邻 （ ANN ） 块 ， 这 比 以 前 的 方 法 快 一 个 数 量PatchMatch的本质在于观察到相邻的补丁可能有相邻的匹配。随时间变化的体积序列也遵循这一观察结果（Woodring和Shen，2009年）。然而，直接将二维面片匹配算法扩展到三维面片匹配算法的计算量很大.我们there-forth提出块匹配定制的原始PatchMatch算法之间的有效匹配随时间变化的体积序列。如图2、我们的BlockMatch有三个主要组成部分。初始化后，它通过迭代交替传播和随机搜索来提高- 是的在初始化期间，原始2D Patch- Match将源图像中的每个Patch分配给目标图像中的随机Patch。由于扩展了搜索空间，使用用于3DBlockMatch的相同随机初始化策略是非常低效的。考虑到我们正在处理时变体积数据，其中相邻体积之间的变化通常很小，我们简单地将源体积中的块分配给目标体积中以相同体素为中心的块，如2（a）所示。160K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157n∈n×=={个×我n，j图二. BlockMatch算法的三个组成部分：（a）源体积中的块最初被分配给以目标体积中的相同体素为中心的块;（b）红色块检查相邻块以查看它们是否将改善对应性，传播良好的匹配;（c）块随机搜索受限子体积中的改进。对于序列中相距很远的两个卷，我们仍然使用随机初始化策略。传播。在2D PatchMatch中使用的关键观察是，如果源补丁与目标补丁匹配良好，则该源补丁的邻居可能与目标补丁的邻居匹配良好因此，原始的PatchMatch算法使用传播操作在邻居之间传播良好的匹配。我们继承了3D BlockMatch的这个想法也就是说，我们使用以下公式根据sMS→T（s）=argminMS→T（s+n）−n，（3）其中，x是包含六个偏移向量（±inx， y， z）的集合随机搜索。仅使用传播的优化将导致过早收敛到局部最优解。因此，我们在传播操作之后应用全局随机搜索步骤。也就是说，假设源块p与目标块q匹配，则将测试以q为中心的子体积内的随机新块qi新版本可以将时序性能提高20倍，对于两个128× 128 × 128的卷，块大小为7 × 7 × 7，一对帧可以在8 s内处理。4.2. 关键帧选择在许多情况下，体积数据不会随时间以统一的速度变化。通过识别关键时间帧，体数据序列可以被分割成多个平滑变化的片段，每个片段由两个关键帧限定我们稍后将展示这种处理方法允许在关键帧上定义的特征通过中间帧被忠实地插值基于密集的对应关系，我们采用感知距离度量，双向相似性（BDS）度量（Simakov et al. ，2008）来识别关键帧。在计算所有体积对的BDS距离之后，构造用于关键帧选择的n距离矩阵（n双向相似性度量（BDS）。 BDS提供了一种新的方法，通过测量S中所有块到T中最相似（最近邻）块的平均距离之和（反之亦然）来汇总体积数据qi=q0+w <$Ri，（4）1 1其中R是[-1，1]×[-1，1] × [-1，1]中的均匀随机向量，BDS（S，T）=NS∑D（s，MS→T（s））+NT∑D（t，MT→S（t）），（5）w是最大搜索半径，并且λ是固定比率。 如果新的块qi是更好的匹配，它将替换q0。该步骤重复多次，其中用于随机块选择的以q为中心的子体积将w减小一半。对于我们的时变体积数据，全局随机搜索是耗时的，并不总是必要的，由于在相邻的时间步长的相应体积的时空相干性。因此，使用较小的1/ 6值来提高时间效率，而w的初始值被设置为最大音量其中s和t是S和T中的两个体素。NS和NT是S和T中的块数。D（s，t）在等式中定义。（二）、我们可以看到，BDS越小，S和T越接近。关键帧标识。给定一个n n距离矩阵，我们的目标是识别一组关键帧kk1，. . .，k m.这里，我们将关键帧选择视为聚类问题，其中每个关键帧ki是聚类（子序列）的代表帧这个目标可以表述为目标函数维度nmGPU实现。 由于执行这种ANN搜索，在3D中的随机搜索是耗时的，我们在GPUF（k）=1∑ ∑τikBDS（i，kj），（6）i=1j= 1因为每个体素彼此独立同时，我们采用跳跃泛洪（Rong and Tan，2006）在GPU上实现传播我们的实验表明，其中BDS（i， k，j）是第i帧与关键帧k，j之间的距离，并且τi， k，j是二进制变量。如果第i帧被分配给第j个簇，则τi， kj为1;否则τi， kj为0。s∈St∈TK. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157161=→=+→+∈∈∈）=（+图三. （a）使用距离矩阵来识别三个关键帧，其中第1帧和第10帧必须是关键帧。(b)随机选择的第四帧作为一个附加关键帧的初始化。(c)在第一次迭代期间，选择第5帧。(d)最后，选择第6帧并分配10帧三个集群。我们最小化Eq。（6）通过调整k-中心点聚类算法（Kaufman和Kaufseeuw，1987），其试图找到聚类的非重叠集合，使得每个聚类具有最具代表性的点，称为中心点。具体而言，该算法通过在两个步骤之间交替进行：（i）将每个点关联到最近的中点;以及（ii）选择中点 最小值为F（k）。经过一定次数的迭代，我们能够识别稳定的关键帧。为了保证每个时间步由两个关键帧限定，我们将第一个 并且最后的帧作为预定关键帧，同时实施相邻帧应当被分配给相同簇的约束。图3显示了飓风伊莎贝尔数据集子集的一个例子，其中第6帧被选为额外的到T中的体素q MST（p）。因此，在q处定义的增广信息可以转移到p。然而，这种直接信息传递方法对应于在后向图像变形中使用的最近像素采样，这通常导致混叠伪影。为了解决这个问题，我们引入了块投票，它考虑了包含p的所有相邻块的对应关系进行信息传输。更具体地，当在第4.1节中执行块匹配时，体素p包含在以p k（k r）为中心的所有块中。 因此，这些块的对应关系， MST（pk），用于基于以下加权平均函数计算传递给p的信息：两次迭代后的关键帧。g（p）=∑k∈Γω（p+k，qk）g（qk−k）（七）5. 应用∑k∈Γ ω（p+k，qk） ，时变体数据的交互式可视化探索在科学和工程的许多领域仍然是一个挑战（Ma，其中g（x）表示在x处定义的扩充信息。ω（s，t）是基于以s为中心的两个体素块之间的块相似性定义的权重函数 S和tT.那就是：2003年）。一个主要的原因是缺乏有效的方法，提取/跟踪。在本节中，我们将展示我们基于块的密集对应允许我们构建新的算法，ω（s，t）=expD（s，t）-2σ2η−dist（s，t），（8）半自动特征提取/跟踪。在我们的场景中，用户交互式地为提取的关键帧指定感兴趣的特征，从中我们自动导出中间帧的特征。有三种方法可以获得这些特征。直接的方法是将关键帧的特征直接应用于中间帧，但忽略时变数据的动态性质 第二种方式是将一个关键帧的特征顺序地传播到中间帧（Wang et al. ，2011），其中不相干性可以快速累积并且在几个传播步骤之后加起来成为更大的误差我们选择第三种方式，即基于其两个边界关键帧的特征为每个中间帧生成特征。在我们的框架中，用户在关键帧指定的功能被视为一般的增强信息。也就是说，感兴趣的体积特征被认为是数据的二进制属性。在这里，我们首先讨论如何使用密集体素对应将增强信息传播到中间帧（第5.1节），然后讨论在中间帧恢复特征（第5.2节）。5.1. 通过分组投票的给定中间帧S和附近的关键帧T，密集对应性指示体素p∈S对应于其中第一项使用高斯核来测量两个块之间的属性相似性，而第二项测量空间相似性，如Wexler等人所述。（2007年）。dist（s，t）计算体素s和t之间的欧几里得距离，而η是常数。我们根据经验设定η 1。8在我们的实施（见图）。 4）.5.2. 特征跟踪在研究时变数据时，研究人员经常对某些特征或结构及其随时间的演变感兴趣。例如，物理学家和气象学家对一些有物理意义的特征感兴趣然而，它们通常没有对特征的精确定义与Dutta和Shen（2016）的工作类似，我们允许用户通过交互式阈值属性或使用框掩蔽感兴趣区域用户只需要在关键帧上指定特征，其中体素被标记为特征（值1）或非特征（值0）。该增强信息（标签卷）被传播到所有其他中间帧。面具融合。利用在两端的关键帧ki和ki1处定义的特征掩码，我们现在尝试经由块投票来合成第j个时间步长处的中间帧的掩码体积。具体来说，对于第j帧中的每个体素p，我们使用162K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157+- - ;}中的内容。见图4。 （a）和（c）：分别为第15和第29个时间步的体积。(b)以及（d）：通过替换所述图像的颜色和不透明度体积而产生的结果。第29个时间步与第15个时间步分别通过直接替换和块投票我们可以看到（d）中的飓风(c)比（b）中的图五. 基于为第15和第30个时间步长的关键帧指定的遮罩，在第20个时间步长提取飓风眼。(a)（f）眼睛在第15和第30时间步，分别由绿色套索选择。(b)以及（c）使用第15处的掩模体积合成掩模体积，第30个时间步长。(d)通过融合（b）和（c）中的掩模体来产生掩模体。(e)：通过应用graph-cut生成遮罩体积。为感知眼睛的运动时，所有掩模体积都被示出，而其余体积作为背景。当量（7）分别使用关键帧ki和ki1来计算gki（p）和gki+1（p）。然后，最终投票值计算为：我们定义图G V E，其中节点V由体素给出，并且相邻体素由边连接。然后，其中ρ =（ki +1− j）/（ki+1− ki）。这样，两个卷同步-我们通过优化以下目标函数E（L）=∑Dp（lp）+λ∑Vpq（lp，lq），（10）每个关键帧的大小都融合在一起。作为一个例子，图。 5（d）显示了通过融合图5所示的体积的结果。 5（b）和（c）。体积分割。合成掩模体积描述每个体素是特征的概率。为了清楚地提取特征区域，我们使用图切割算法（Boykov et al. ，2001）以达到最终的二进制分割。给定一个体积，pq∈Np其中Nq是p的邻域，λ是平衡项Dp（lp）和Vpq（lp，lq）的影响的权重。Dp（lp）是用于将标签l分配给体素p的数据成本，并且Vpq（lp，lq）是分别用于将lp和lq分配给p和q的平滑度成本。由于我们的特征掩码是一个二进制体积，我们将Dp（lp）设置为特征的dsp，否则设置为1−dsp。定义了平滑代价K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157163=××××××作为由p和q给出的梯度向量的大小。在我们的实验中，我们根据经验设定γ 1。所有数据集均为3对于飓风伊莎贝尔数据集，每个掩模的优化可以在2分钟内完成。图5（e）示出了通过将图切割应用于融合结果的结果（图5）。 5（d）），我们可以看到眼睛的形状变得更平滑，噪音被去除。6. 结果和讨论我们使用几个科学数据集评估我们的方法在时变体积数据的探索中的有效性。与以前的工作相比（Wang et al. ，2016; DuttaandShen，2016; Woodring and Shen，2009; Wang et al. ，2011年），我们的方法使用户能够在相同的框架中执行特征提取/跟踪。因此，我们以两种不同的方式评估我们的方法：1. 通过将我们的方法与以前的工作进行比较，说明它对每个单独任务的有效性;2. 通过这两项任务以及案例研究展示整个框架的实用性。所有实验均在具有NVIDIA GTX980图形卡、Intel Core i7- 6700 K和16 GB RAM的工作站上进行6.1. 参数选择和性能分析除了为关键帧选择感兴趣的区域之外，我们的框架还有两个其他参数：块大小和关键帧的数量。大的块大小将引入大的计算开销，但是小的块可能没有足够的因此，我们经验性地使用了77块大小的对应计算中的所有数据集。关于关键帧的数量，我们建议用户从小帧开始。如果某些特征无法被表征，则用户可以手动添加关键帧。在表1中，报告了测试用例的时序。我们可以看到，我们的BlockMatch的GPU实现比CPU实现快大约20-70倍。对于较小的数据集，加速比较大。特征跟踪的定时结果包括块投票，其运行时间与优化成本相比可以忽略不计。由于图切割优化的时间复杂度与体素的数量成正比，因此对于较大的体积，它需要更多的时间6.2. 特征跟踪为了证明我们的方法在特征提取和跟踪方面的有效性，我们首先将其与最先进的方法（Dutta和Shen，2016）进行比较，然后进行案例研究以进一步验证其准确性。6.2.1. 比较评价：飓风伊莎贝尔数据集Dutta和Shen（2016）提出了一种分布驱动的特征提取和跟踪（DDFT）方法。通过对感兴趣的特征进行概率分布建模，用分类域度量每个块成为特征的一部分的可能性，然后通过对可能性值进行阈值化来提取特征。在我们的方法中，融合掩模体积可以被视为一个分类领域，但我们可以自动提取功能，使用图切割没有硬阈值。此外，他们以增量方式进行，这可能导致多个步骤的错误，而我们基于每个时间段内的两个关键帧的块投票为了进行比较，我们使用飓风伊莎贝尔数据集的压力变量，由NCAR和NSF使用WRF模型。该数据集由48个时间步长组成，其中每个步长具有500 500的维度100. 为了提取和跟踪飓风眼的时间演变相反，我们的方法提取了四个关键帧（第1帧、第15帧、第32帧和第48帧），并要求用户选择感兴趣的特征。图图6显示了由DDFT和我们的方法生成的三个时间步长的结果。我们可以看到，我们的方法可以更准确地提取更多的漩涡特征，而DDFT所表现出的眼睛形状随时间变化很大。为了研究整体的时间演变，我们比较了两种方法产生的迹线体积，如图所示。6（d）.很明显，我们的方法在运动过程中保持了眼睛我们假设DDFT的大小变化的原因是由于他们在整个时间序列中使用了相同的可能性阈值。6.2.2. 案例研究：Tornado数据集为了验证我们提取的功能的准确性，我们使用的龙卷风数据集（ 128 - 128 - 128）生成的分析功能（ Crawfis和最大，1993年），包含在每个网格点的速度矢量。该数据模拟了龙卷风的时间演变，例如具有50个时间步长的涡核结构。在这里，我们通过修改方程来增加运动速度，以查看当时间维度稀疏采样时，我们的方法是否仍然可以准确地跟踪特征。在提取出第1、16、30、50帧的关键帧后，采用λ2涡准则计算出每一点的涡度，然后手动选取涡核结构，最后应用本文的方法提取其余帧的涡核结构图图7描绘了在八个选择的时间步长处的所跟踪的感兴趣的特征。我们可以看到，几乎所有感兴趣的vortex结构都被清楚地提取出来。注意，由于高速运动，一些相邻帧具有不同的结构，但它们的结构仍然被忠实地提取。与以前的工作（Crawfis和Max，1993）产生的可视化结果相比，我们相信我们的结果是合理的。 我们没有与DDFT（Dutta和Shen，2016）进行比较，因为它们也修改了分析方程，并涉及不同的λ2值阈值。总之，我们可以看到，我们的方法是能够提取和跟踪的功能，并产生类似的结果与国家的最先进的方法。由于我们的方法考虑了数据属性和空间位置之间的对应关系，因此对于某些数据集，它会产生更准确的结果，如图所示。 六、7. 结论和今后的工作我们已经提出了一个统一的方法，时变数据勘探的基础上块对应。我们工作的主要贡献如下。首先，我们将密集对应的概念引入时变数据分析，并通过使用GPU实现来加速计算来证明其实际可行性。其次，我们使用双向相似性度量和k中心聚类方法提取基于密集对应的关键帧。第三，我们提出了新的方法，通过图切割分割技术，通过块投票计划的功能跟踪。在未来，我们希望进一步研究我们的方法来处理时变多变量数据集的扩展。BlockMatch方法可以很容易地将多变量164K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157表1数据集和传递函数的描述、CPU和GPU上一对卷的BlockMatch时间以及跟踪功能的时间以及一个时间步长的传递函数融合时间以秒为单位。500×500×100×48256×256×96×599 4 1D 445.17 20.33 51.10128×128×128×100 3 1D 293.57 7.95 32.15192×64×48×113 3 2D 66.20 1.46 10.12见图6。 比较Dutta和Shen（2016）的方法（上一行）和我们的方法（下一行）提取和跟踪涡流，飓风伊莎贝尔数据集中的风眼（a）（d）示出了所跟踪的特征的时间迹线体积见图7。龙 卷 风 数 据 集 涡 核 的 提取和跟踪。此处显示了八个选定的时间步长作为属性空间中的距离度量的输入的数据可以采用多变量值向量。对于特征跟踪，可以将我们将研究计算性能如何受到这种扩展的影响，并根据需要寻求加速解决方案。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项工作得到了BKBD-2017 KF 02的资助引用巴恩斯角，戈德曼，D.B.，Shechtman，E.，Finkelstein，A.，2010.具有连续时间缩放 的 视 频 挂 毯 。 ACM 事 务 处 理 图 表 29 （ 4 ） ， 89 ： 1-89 ： 9 。http://dx.doi.org/10.1145/1778765.1778826网站。巴恩斯角，Shechtman，E.，Finkelstein，A.，戈德曼，D.B.，2009. Patchmatch：一种用于结构图像编辑的随机对应算法。ACM事务处理图表28（3），24：1-24：11。http://dx.doi.org/10.1145/1531326.1531330网站。Boykov，Y.，Veksler，O.，扎比河，2001.通过图割的快速近似能量最小化。IEEE 传 输 模 式 分 析 马 赫 内 特 尔 23 （ 11 ） ， 1222-1239 。http://dx.doi.org/10.1109/34.969114网站。布罗克斯，T.，Malik，J.，2011.大位移光流：变分运动估计中的描述符匹配。IEEE传输模式分析马赫内特尔33（3），500-513。http://dx.doi.org/10.1109/TPAMI.2010.143网站。克拉菲斯河一、马克斯，N.，1993.用于3D标量和矢量场可视化的纹理splats。在：IEEE可视化会议论文集，pp。261-266.http://dx.doi.org/10.1109/VISUAL.1993.398877网站。Darabi，S.，Shechtman，E.，巴恩斯角，戈德曼，D.B.，Sen，P.，2012.图像融合：使用基于块的合成来组合不一致的图像。ACM事务处理图表31（4），82：1-82：10。http://dx.doi.org/10.1145/2185520.2185578网站。地震涡流数据TF时间名称大小#高斯#暗淡块匹配（CPU）区块匹配（GPU）跟踪飓风伊莎贝尔128× 128× 128× 50231D2D335.284626.507.9580.1036.38112.87湍流K. Lu，C.Wang，K.Wu等人/视觉信息学3（2019）157165杜塔，S.，沈，H.- W.，2016.时变数据分析的分布驱动特征提取和跟踪。IEEETrans.Vis.Comput.Graphics22（1），837-846.http://dx.doi.org/10.1109/TVCG.2015.2467436网站。Frey，S.，埃特尔，T.， 2016.交互式体可视化中基于流的时间选择。Comput.Graph. Forum 36（8），153-165. http://dx.doi.org/10的网站。1111/cgf.13070。Frey，S.，埃特尔，T.，2017年。渐进式直接卷到卷转换。IEEE Trans. Vis.Comput.Graphics23（1），921-930.http://dx.doi.org/10.1109/TVCG.2016.2599042.Glatter，M.，黄，J.，Ahern，S.，丹尼尔，J.，Lu，A.，2008.使用文本模式匹配可视化大型多变量数据中的时间模式。 IEEE Trans. Vis. Comput. Graphics 14（6），1467-1474. http://dx.doi.org/10.1109/TVCG.2008.184。顾，Y.，Wang，C.，中国地质大学，2013. iTree：使用可索引树探索时变数据 。 在 ： IEEE 太 平 洋 可 视 化 研 讨 会 论 文 集 ， pp 。 137-144.http://dx.doi.org/10.1109/PacificVis.2013.6596138网站。考夫曼湖，P.J.，1987.通过medoids聚类。在：道奇，Y. （编辑），基于L 1 -范数的统计数据分析及相关方法。North-Holland，pp. 405-426李，T.-是的，沈，H.- W.，2009.多变量时变数据中时间趋势关系的可视化与探索。IEEETrans.Vis.Comput.Graphics15（6），1359-1366.http://dx.doi.org/10.1109/TVCG.2009.200网站。Lowe，D.G.，2004年从尺度不变的关键点中提取独特的图像特征Int. J. Comput.目视60（2），91 http://dx.doi.org/10.1023/B:VISI.0000029664。99615.94卢，J，巴恩斯角，DiVerdi，S.，Finkelstein，A.，2013. Realbrush：用物理媒介的ACM Trans.Graph. 32（4），117：1网址：//dx.doi.org/10.1145/2461912.2461998网站。妈，KL.，2003年。可视化时变体积数据。IEEE计算Sci. Eng. 5（2），34-42。http://dx.doi.org/10.1109/MCISE.2003.1182960网站。Ozer，S.，Silver，D.，Bemis，K.，马丁，P.，
我的内容管理
展开
