LatentMap：时空数据可视化中的密度图压缩和变形方法

图形和视觉计算4（2021）2000192021年CAD图形专题LatentMap：用于时空数据可视化姜世奇a，李晨辉a，王磊a，胡彦鹏b，王长波aa华东师范大学，中国上海b上海华福股份有限公司，上海市，中国Ar ticlei n f o ab st ract文章历史记录：收到2021年2021年4月13日接受2021年5月23日网上发售关键词：计算机图形学图像处理深度学习可视化在时空数据可视化的研究中，密度图的压缩和变形是一个具有挑战性的课题。现有的许多方法需要调整多个参数和丰富的经验，但仍然不能得到准确或平滑的结果。在本文中，我们提出了一种基于GAN的方法（LatentMap）来探索密度图的潜在空间，这是一种端到端的方法。首先，我们发现小的潜在代码可以用作压缩的结果，这可以大大节省前端系统的传输时间。我们收集密度图来制作数据集。我们的模型从高斯分布的数据集和样本中学习，以编码和解码密度图。其次，基于隐码，我们探索了密度图的平滑动态可视化，我们的方法可以生成动态的、平滑的结果。我们展示了我们的方法在各种情况下的结果，并从多个方面进行了评估。实验结果证明了该方法的有效性和实用性。该方法在加速前端加载、流数据信息的补全或预测、可视化查询等方面具有实际应用价值。© 2021作者（S）。由Elsevier Ltd.发布。这是一个CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）1. 介绍时空数据可视化是探索流数据动态性的重要方法。散点图是数据的可视化表示，但这种表示形式不能研究数据的密度，也不能保护隐私。当可视化时变数据时，密度图是比散点图更强大的数据分析工具。密度图通过亮度来表示数据分布的密度，从而直观地了解数据的特征。通常，我们获得的数据通常是由散点图。我们可以将散点图转换成密度图，以避免异常点的干扰。密度图是一种简单的方法来表示数据的用户，因为他们可以很容易地探索数据的模式和分布。然而，将大量的密度图从本地加载到浏览器页面是相当耗时的。虽然加载过程可以通过多线程来加速，但它并不优化。∗通讯作者。E-mail地址：568412356@qq.com（S. Jiang），chli@cs.ecnu.edu.cn（C. Li），2094434681@qq.com（L. Wang），huyp@shchinafortune.com（Y.Hu），cbwang@cs.ecnu.edu.cn（C.Wang）。解决这个问题，特别是当数据量特别大时。再比如，在匹配密度图时，用户需要通过密度图找到相似的数据，直接匹配密度图是一个相当耗时的任务，并且结果不准确。此外，分析和预测数据变化是可视化的一项重要任务，如StreamMap[1]的工作所示，但用户很难直接通过密度图来实现这一点。传统的方法用于解决压缩或变形不能获得高质量的结果。例如，StreamMap不适合大多数场景。深度学习在图像处理方面表现出良好的性能;特别是基于GANs的方法[2，3]获得了令人惊讶的结果。 利用深度学习方法解决密度图问题可以准确地表示数据的分布和变化。潜在空间的探索是GAN的一个研究热点，目前已经提出了许多生成模型。根据不同的潜在空间，生成模型包括GAN和VAE，两者都显示出优势。VAE可以在没有高分辨率图像的编码结果中具有非常小的潜在代码，而GAN可以具有高分辨率的生成结果。这些优点是必要的表示时间密度图在我们的工作。https://doi.org/10.1016/j.gvc.2021.2000192666-6294/© 2021作者。由Elsevier Ltd.发布。这是一个CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）可在ScienceDirect上获得目录列表图形与视觉计算期刊首页：www.elsevier.com/locate/gvcS. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000192图1.一、 从00：00到12：00机场的人口密度。我们每两小时取样一次红色表示人口密度高，绿色表示人口密度低图二.框架流程图。我们设计了一个密度图的总体框架。整个管道由三个部分组成：数据集生产，模型训练和应用详细过程见第3。如图1所示，我们通常使用密度图来描述数据。然而，时空数据是大的，这意味着生成的密度图也将是大而复杂的。本文讨论了密度映射的潜码。密度图可以看作是一种特殊的自然图像，也可以表示。密度图可以用于以直观的方式理解时空数据或流数据中的变化。密度图压缩的研究在处理大规模时变数据时显得尤为重要大规模的数据传输需要大量的时间，因此很难实现实时的数据交互。在对密度图进行压缩时，应在保证恢复程度的前提下，提高压缩率，从而节省存储空间。此外，密度图的变形还可以显示数据的变化过程.例如，我们想研究人口流动的动力学或预测其他时间的人口密度。平滑变形通常需要一个数据集，它提供了变形信息的来源。在压缩过程中，每个密度图将有相应的潜在代码作为压缩结果。变形不仅可以在密度图上进行，而且可以在潜码中进行。潜在代码可以从数据集中学习信息。两个密度图的潜码包含了它们自己的信息以及来自数据集的变形信息。然而，我们发现变形的形状取决于数据集。换句话说，变形只能在数据集中产生形状。只有当数据集扩大时， 合成结果是现实的。为了避免这种情况，我们研究了密度映射的隐空间。基于隐码，我们可以解决密度图的压缩和变形问题。 此外，还可以根据隐码实现密度图的查询和缺失数据的补齐。为了分析潜在代码，我们提出了一种基于GAN的端到端方法。与以往的方法相比，我们结合多种方法。GANs是解决生成问题的一种新方法。特别是在监督学习[2]中，GAN可以合成高质量的结果。我们相信，生成模型可以使我们的结果现实。对GANs潜在编码的研究是一个重要的课题。[4]的工作是以直接映射的方式对输入数据进行编码。直接映射方法可以增强GAN的学习能力，但当新的潜在代码出现时，模型的输出将变得异常。为了避免这个问题，我们在生成器中引入了VAE的思想我们的主要贡献可归纳如下：• 数据集构建我们通过三种方式收集数千张密度图，并对其进行处理以进行训练和测试。• 密度图压缩我们提出了一种基于GAN的方法来分析密度图的潜在空间，潜在代码可用于压缩以节省传输时间。我们的方法可以应用于任何密度图的可视化。• 隐码的应用基于隐码，通过变形计算密度图的动态变化，完成缺失数据的补齐。2. 相关工作2.1. 生成网络模型生成对抗网络（GAN）[5]是学习生成模型的最流行技术之一。这个想法是使用一个生成器网络，其目标是合成输出， 可以欺骗一个网络和一个网络，网络的目标是区分真实分布和产生的样本由发电机。GAN的自由度是相当大的。换句话说，GAN培训将很快失去方向。因此，早期的GAN经常崩溃[6]。文[2，7-[3]成功地将多层感知器（MLP）结构扩展到卷积神经网络结构，并提出了一组卷积神经网络，以便GAN可以在现实世界中的真实大规模数据集模型崩溃是GAN的一个重要问题。为了解决这个问题，[10-由于添加了编码器，所以可以使生成数据的分布和真实数据的分布尽可能接近。重叠的可能性和程度更高，从而缓解无意义S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000193ˆˆ由几乎恒定的JS发散引起的梯度[14]。我们最初尝试了自动编码，但让模型收敛并不容易。变分自动编码（VAE）[4，15]是另一种生成模型。作为一种改进的自动编码器方法[16VAE的目标是将样本从低维空间映射到高维空间并产生输出。在中间处理过程中，采用高斯采样使数据在编码空间中连续。VAE和GAN都是优秀的生成网络，但它们是不同的。GAN直接将输入的分布拟合到输出，而在VAE中，每个因子都对应于一个分布。通过从这些分布关系中采样，可以通过深度网络输出结果。相对于GANs的密集求解，VAE的建模思想要复杂得多.在我们的方法中，我们改变了这个想法来适应我们的模型，这样我们的潜在代码就很小，很容易学习。2.2.散乱点密度估计KDE是一种常用的数据聚合和简化方法，如[20]所述。已经提出了许多基于KDE的研究来解决可视化问题，并结合聚类算法以使结果具有针对性[21，22]。Hurter等人[23]提供了一种基于KDE的可视化聚类方法，以克服复杂图形绘制中的重叠问题。KDE[24-然而，密度图的潜在细节还没有被讨论过。传统上，密度图是通过KDE从散点图合成的。然而，KDE在估计边界面积时会产生边界效应因此，在密度图的合成过程中，需要调整核的大小，这需要丰富的经验，并且耗时。通常，我们使用高斯核作为核算法。如果高斯核的大小过大或过小，都会影响估计结果。这样，密度图的直接处理方法就无法得到详细的结果，因此需要使用潜码来分析密度图的信息。通过深度学习方法，我们可以获得传统方法无法获得的信息。根据这些信息的分析，结果将更加准确。2.3.密度贴图重定向大多数图像压缩算法都致力于解决自然图像的压缩问题，对于密度图的压缩还没有合适的方法。基于神经网络的图像压缩技术发展非常迅速。[27]使用递归神经网络（RNN）来实现与JPEG相当的性能[28]。文[29]的工作改进了以往的方法，取得了重大进展。除了递归网络外，基于自编码器的图像压缩模型也得到了很好的发展。[30-33]的工作然而，密度图与自然图像不同。例如，在自然图像中，包括光照、纹理等因素，[8，34]通常需要考虑，但在密度图中只需要考虑亮度。因此，用于自然图像的压缩方法不太适合密度图。我们提出了一种基于GAN的方法，并引入了潜在码的VAE思想。在保证恢复精度的前提下，减小了隐码的大小对密度图的操作可以在隐码上实现。现有的方法使用KDE或其改进的方法来分析流数据[1，35]。然而，这些方法需要复杂的数据集，这是具有挑战性的。基于对隐码的研究[36]，我们发现可以实现隐码重叠密度图的变形。基于VAE的潜码不同于具有简单映射关系的自动编码器的潜码。在我们的方法中，潜在代码具有高斯采样的特性，捕获不同潜在代码之间的连接。因此，我们可以避免使用复杂的数据集，并在密度图中实现重叠变形。3. 方法3.1. 概述GAN在图像应用中具有良好的性能，例如图像生成[37]和压缩。GAN可以通过对抗方法生成逼真的结果。因此，在我们的问题中使用基于GAN的方法可以取得很好的结果。潜码包含了图像的信息。与图像相比，潜码更容易计算。基于潜在代码，我们有两个目标。首先，我们打算解决密度图的压缩。 在实际应用中，我们对热图的处理是基于密度图的，而密度图的传输需要相当长的时间。因此，密度图的压缩有助于加速整个过程。GAN不仅可以实现图像转换，还可以实现图像压缩[38]。的数据集训练网络可以表示为D={DM，DM}，其中输入和输出应该相同。压缩过程是Z=E（DM）和DM=D（Z），其中E和D分别是编码器和解码器，Z表示潜在码，DM和DM分别是我们网络的输入和输出。基于压缩，我们提出了第二个目标，完成变形与重叠的潜在代码。在这个目标中，我们不改变数据集，这意味着使用密度图本身的信息进行变形操作。由于数据集不能提供变形信息，我们通过网络结构提供变形信息。因此，潜在的代码Z来自高斯样本。一般来说，我们设计一个数据集和一个基于GAN的网络。我们用这个数据集训练网络，获得网络权值，实现上述两个目标。如图4所示，我们的网络有两个组件：生成器和路由器。生成器可以将解压缩后的图像、密度图和密度图变形进行合成，而合成器则对合成的图像进行真伪判断生成器有两个组件：编码器和解码器。编码器将输入数据编码为均值向量μ和方差向量σ，并获得向量z通过高斯采样，如[4]的工作所示，而解码器通过重新参数化的向量z输出我们期望的图像;此外，合成图像的准确性主要取决于潜码的大小。具体详情载于以下章节。3.2.数据集生成我们使用KDE从散点图生成密度图。散点图的数据源是直方图数据和雾度数据等。KDE提供了比使用直方图更平滑的结果，如[20]中所讨论的。由于传统的密度计算方法，如k-means聚类需要耗时的计算，基于核的近似已经被设计来估计数据S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000194=1−.图三. 核密度估计的一个例子。左边的画布列出了一些原始点，而右边的画布显示了KDE的结果。不同的内核大小列在底部。该估计过程可以通过循环渲染来近似。t2密度的高斯函数G（t）e2在我们的IM中使用-2π完成KDE方法的公式如下：足够的特征来应对亮度的变化，提高了泛化能力。3.3.编码器结构我们的目标是实现多个任务，因此网络设计是根本性的。首先，我们尝试使用传统的编码器-解码器结构[39]作为对抗网络生成器。这种结构可以实现热图的压缩等任务，但存在很多问题。例如，在压缩中，压缩率低。在变形中，不能有效地生成准确的结果。在我们的目标中，我们需要将注意力集中在潜在向量的形式和维度上。例如，在压缩任务中，我们必须在保证压缩精度的基础上尽可能地降低潜在代码的维数。在具有重叠的变形中，仅使用常规编码器的结果是不能从密度图学习重叠信息。因为这种方法只将输入数据直接映射到隐向量，所以这样的网络只是一个1ntK（x，t）=1克的.x−xj。x，x∈S，x∈S（一）网络用于存储图像，无法生成新图片。我们对编码器进行约束，使其能够生成潜在变量，nt rj rjj=1jt t服从高斯分布。我们基于GAN和VAE设计网络我们的理由其中nt是数据集St中的点编号，t表示时间戳，xj是St中的一个数据点，rj是核xj的大小参数。rj是根据rj在实际应用中的特点定义的。K（x）将被调用nt次以生成St的密度图。虽然KDE的计算仍然很耗时，但通过使用alpha混合的高斯圆渲染，可以很容易地近似nt图3显示了密度图生成的一个简单示例。我们假设每个密度图具有相同的图像大小。在在我们的实验中，所有的密度图都将被预先处理为灰度图像。特别是，为了方便起见，我们使用1通道灰度图像。我们将时间戳中的密度图定义为St。为了实现压缩，我们使用上述方法制作了大约1k的密度图，大小为1024×1024。以确保我们设计的网络能够实现高质量的结果，我们将密度图裁剪成256×256的图片，这是一种数据增强。可以获得总共大约100k的图片。在密度图中，信息部分所占的比例很小，因此，裁剪会产生大量不包含任何信息的不知情图像，并会增加训练时间和偏差，因为我们认为这些图像属于不同的分布。为避免无效图像的干扰，我们过滤掉这些不包含任何信息的图像。因此，用于训练的图像数量约为30k。80%用于培训，20%用于测试。我们使用的密度图是单通道图像，因此颜色变化仅与亮度有关。 这就是为什么我们在构建数据集时关注这个因素的原因。如果不考虑亮度因素，即使输入图像的亮度变化很大，我们网络的输出也可能是相同的亮度。为了使网络对亮度变化敏感，我们随机调整原始密度图的亮度。随机调整亮度可能会使原始图像更亮或更暗。这种调整可能会使原始图像中的特征消失，但也会产生新的特征。因此，这样的操作不会降低数据集的复杂性。我们制作足够多的图像，并将随机参数设置为最大值，这意味着图像可以在所有亮度值下进行更改。因此，我们的网络可以学习使用GANs是以对抗的方式生成逼真的图像。引入VAE的想法是使生成器中的编码器能够生成更小且更有效的潜在代码。详细地说，我们在整个生成器中使用卷积层，批量正常层和激活层的组合[40]。根据图4中的卷积参数，在编码器中，特征图的大小在每次卷积之后减半编码器的输入尺寸不能太小。否则，采样层的数量将减少，导致结果的准确性不足。我们用于训练的图像是通过裁剪获得的，这意味着图像不是很大。这些图像必须放大才能用作网络的输入，这就要求我们编码器的输入尺寸不能太大。在我们的任务中，原始图像的过度放大会导致模糊和异常的亮度变化。在我们编码器，输入大小为256× 256。编码器的输出大小不是绝对的，可以由特定任务确定。如图4所示，我们使用两个全连接层来获得均值μ和方差σ。在压缩任务中，我们将输出大小减少到最小值48。在另外两个任务中，我们发现一个过小的参数会产生很多错误，所以我们将输出大小设置为96。详细的参数讨论将在第4中详述。3.4.解码器结构解码器用于从输入的潜码生成图像。该过程可表示为：Ir=g（z），其中，r表示隐码，g（·）表示变换过程，Ir表示逆过程。记录生成的图像。我们的解码器结构非常相似到编码器结构。如图4（b）所示，我们使用一系列将特征图从1×1转换为256×256。每个反卷积层的内核大小为4，步幅为2，因此每次卷积后特征图的大小都加倍。在最后一个反卷积层中，我们使用Tanh代替 ReLU以获得最终图像。对于不同的任务，解码器的结果是不同的。在密度图的压缩中，解码器可以生成与编码器输入相同的图像，而在变形中，解码器需要解码潜在代码。首先，得到两个密度图z1和z2的潜码。然后，我们计算需要解码的潜在代码z计算过程S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000195D22−见图4。我们的网络结构。(a)编码器结构。 在卷积层中，我们使用2D卷积层，Batchnorm2d和LeakReLU。在卷积层之后，我们使用两个线性层来获得均值向量μ和方差向量σ。(b)解码器结构。在反卷积层中，我们使用convtranspose2d层，Batchnorm2d和ReLU。(c)鉴别器结构。该图像处理器将原始图像和生成的图像作为输入。为了训练的稳定性，我们使用卷积层作为最后一层。可以表示为：z=m×z1+n×z2，其中m+n=1。因此，这两个图像的信息被包括在潜码z中。具体实施原则将在3.5小节中介绍。变形来自数据集。对于两个有重叠的密度图的输入，我们希望获得这两个图之间的图像。然而，自动编码器模型无法确定输出哪种图像，因为它不知道这两张图片的代码发生了什么变化。该方法在一定程度上消除了对数据集的依赖3.6. 鉴别器作为一个特殊的损失函数，该算法需要确定生成器生成的图像是否真实。因此，我们需要一个有效的工具来使生成的结果真实和高质量。在训练中，我们使用PatchGAN[2]中的训练方法来加快训练速度并节省内存。为了确保我们设计的网络不会产生意想不到的结果，我们使用cGAN[7]的思想将原始图片的信息添加到网络中。原始图像和生成器合成的图像作为图像处理器的输入。在压缩任务中，我们使用原始图像和压缩图像作为嵌入式系统的输入。在我们的实验中，我们发现学习器比生成器学习得更快。当一个发电机被训练得很好时，发电机可能学习得很慢。我们将在3.7小节讨论这个问题3.7. 损失函数VAE使用KL散度[41]作为损失函数，其不满足距离的性质。传统的GAN使用交叉熵作为网络的损失函数[5]。 它表示两个分布之间的差异。虽然交叉熵使分类器正确分类，但它会导致在决策边界被分类为真的假样本，与真实数据相差甚远为了避免生成器在收敛后无法生成高质量图像的问题，我们采用最小二乘损失函数作为卷积器的损失函数[42]。最小二乘损失函数将在判断为真时惩罚远离决策边界的样本，并将远离决策边界的假样本拖入决策边界，从而提高生成图片的质量。我们的目标是使网络生成的结果与压缩任务中的输入图像尽可能一致。因此，在训练中，输入图片被用作帮助网络训练的条件。可如下描述用于该方法的目标函数L（ D） =1 （ D （ x ， x ） −1） 2+1 （ D （ G （ x） ， x）） 2（ 2）3.5.高斯抽样传统方法[30]是找到单个值来映射输入和潜在代码之间的关系，其可以表示为z=f（x），其中x是输入，z表示潜在代码。其中x是生成器的输入。的目标是最小化Eq。 二、相应地，生成器的目标函数可以定义如下：1潜在代码这种方法在压缩任务中浪费空间并且在生成任务中缺乏多样性[4]的工作变得很大LG（G）=（D（G（x），x）1）2（3）2将潜在代码转换成小的潜在代码，并使小的潜在代码有意义。在我们的生成器中，我们引入了这个想法。我们通过两个完全连接的层将卷积结果编码为高斯分布的均值μ和方差σ，然后从高斯分布生成潜在码z。使用这种方法可以大大提高压缩率。另一个好处是探索潜在的空间。密度图的变形可以在卷积后的原始潜在空间中完成[36]。然而，这种方法非常依赖于特定的数据集，这意味着其中x是网络的输入，a是真实标签。生成器的目标是最小化Eq。3.第三章。在我们的实验中，生成器具有批量归一化层。传统的GAN不能使用交叉熵学习有用的特征，它会导致模型崩溃，而最小二乘损失函数允许生成器学习特征并快速收敛。虽然最小二乘损失函数可以防止模型崩溃，但模型收敛速度慢，收敛值大。GANs可以很好地解决高频部分S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000196图五. 一个关于潜在空间的说明性例子。但是这对于压缩任务是不够的，因为低频的细节也是必要的。基于上述问题，并考虑到生成的图像在图像细节上应具有更高的精度，我们还使用了l1损失函数。该损失函数不改变生成器的工作，并且它可以使生成器的结果接近地面实况。L1距离可以描述如下：Ll1（G）=<$x−G（x）<$1（4）其中G（x）应该尽可能接近x。发电机的最终损失函数为：L生成元=LG（G）+λ×Ll1（G）（5）其中λ是超参数。在最后的实验中，我们将其设置为200.在密度图的压缩中，我们认为低频区域在密度图中所占的比例较大，因此低频区域的压缩更为重要。我们的模型基于LsGAN[42]，并在潜在代码中引入了VAE的思想。通过多种方法的结合，我们已经实现了基于我们的数据集的多个任务。这些结果将在下一节中解释3.8.非线性映射对时空数据的直接处理通常是复杂的，例如流数据的密度图。然而，在潜在空间中，我们可以加快这一过程并获得更准确的结果。如图5所示，我们的训练集中的数据不能包含所有特征，以便某些特征将丢失（（a）中的空白方块）。如果不改变这种情况，我们可能会从模型中得到异常的结果，甚至这种情况会导致模型崩溃。在我们的实验中，我们使用编码器和高斯采样方法使潜在空间弯曲到一定程度（（b）中的弯曲映射通过这种方式，我们可以填充缺失的特征，而不会导致太多的特征纠缠[43]。现有的方法[44，45]已经定义了解缠。 我们的目标是，每个潜在代码可能不会给结果带来巨大的变化，甚至不会产生意想不到的结果。 我们将编码器视为一个非线性变化模块，这可以使从密度映射到潜码的映射变得不那么复杂。在我们的实验中，我们对得到的潜在代码进行数值修改。我们发现，如果调整其中一个潜在代码，解码器的结果不会发生显著变化，或者它只会影响密度图的一部分。所以我们可以肯定每个潜码都是可分离的。通过上述非线性变化，我们的网络可以很好地应用于密度图。此外，我们可以通过调整潜在代码来生成特定的密度图4. 应用尽管密度图是一种有用的可视化表示，但要分析基于密度图的数据并不容易，见图6。 一个体积数据压缩的例子。我们使用48个潜在代码。流数据，如变形或匹配。潜码为数据分析提供了一种有效的解决方案。在我们的论文中，我们探索了潜在的空间。该方法基于隐码，有两个应用：压缩和变形.基于这些应用，我们可以进一步匹配模式或预测流数据等。在所有应用中，我们设置权重λ= 200（等式2）。5）。输入和输出只是单通道图像。在训练过程中，我们发现模型在20次训练后开始稳定。为了获得最稳定的结果，我们为每个应用程序训练了200个epoch。我们的模型在一个GTX 2080ti GPU上的训练时间大约是两天。在测试时，我们的模型在一个i7 CPU上运行的时间不到一秒。在实际使用中，我们使用Tensor.js将我们的网络加载到前端。4.1. 密度图压缩密度图的压缩主要解决密度图过大时，如大规模时间数据时，传输效率过慢的问题。因此，我们的目标是用小的潜码代替原始图片进行传输。我们在本地使用编码器将原始图像压缩成非常小的潜在代码。潜码传输后通过解码器解压缩成原始图像。总的来说，我们将此应用程序视为图像生成任务，因为我们有类似的输入图像和输出图像。我们将密度图视为一种特殊的自然图像，因为我们只需要考虑亮度的变化。在模型训练中，我们随机调整每次输出图像的亮度作为特殊噪声，以增强模型的稳定性我们尝试只使用最小二乘损失函数来训练我们的模型，但我们发现很难减少网络的损失。结果模糊或有过多的噪音。因此，我们结合两种损失函数来实现我们的实验.与自动编码相比，VAE具有重新参数化过程，其将参数的数量减少了一半。重新参数化方法对于压缩很有用。在这种应用中，我们需要传输潜码，因此潜码的大小决定了传输效率。图6显示了我们的方法可以应用于基于密度图压缩的体数据压缩。然而，潜码的大小与解压缩图像的精度有关。高压缩率可能导致解码图片不准确。我们比较了不同大小的潜码对解压缩图像的影响。图7显示了不同的潜在代码大小所产生输入图像为低质量密度图，本实验图像大小为256×256×1（高×宽×通道）。我们发现，当潜码的大小为48时，解压缩的图像是ac-副牧师。当尺寸变小时，准确度会显著下降。相比之下，过大的潜码将降低传输效率并导致过拟合。因此，我们使用大小为48的潜在代码作为最终实验参数。此外，我们的方法可以应用于高质量的图像。在压缩高质量图像时，我们应该关注细节，而不是追求高压缩率。所示S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000197见图7。压缩过程中隐码大小的比较。第一行中的图像是要压缩的示例。以下三行显示了不同大小的潜在代码生成的结果。如图8所示，我们可以使用大的潜在代码来实现高质量的图像压缩。4.2.密度图密度图的变形在可视化中有重要的应用[1，36]。动态数据可视化是信息可视化领域的一个挑战。我们通过密度图的变形来可视化数据变化过程。从密度图生成，我们发现，潜在代码可以用作压缩结果，并实现密度图的变化。许多方法试图在密度 图 中 实 现 变 形 ， 但 这 通 常 需 要 复 杂 的 参 数 。 虽 然GenerativeMap的工作提出了一种不稳定的数据编码方法来表示密度图，但变形的有效性需要改进[36]。在本文中，我们提出了一个稳定的变形方法，解决了变形问题的基础上的潜在代码。我们的目标是以两个密度图作为输入，并通过编码器获得两个潜在的代码。我们将两个潜在代码变形以获得新的潜在代码，并最终通过解码器将其合成为密度图。正如第4.1小节所讨论的，我们使用相同的模型。在潜码的变换中，我们设置了两个参数m和n来表示每个潜码的权值代码，其中m+n=1且0≤m，n≤ 1。如图9所示，我们通过编码器将输入1和输入2编码为潜码z1和z2通过调整m和n的值，我们可以获得变形结果，例如x1到x4。图第九章 密度贴图变形的示例。潜码的大小为48。见图10。原始图像和解压缩图像之间的SSIM。我们比较了4种不同的潜在代码的生成结果。尺度越小，相似性越不稳定.我们比较了不同大小的潜在代码对重叠密度图变形的影响。当隐码较小时，变形结果几乎不包含原始密度图的信息。但当隐码较大时，每次变形的结果并不平滑，不能反映数据的连续变化。在这个应用程序中，我们发现当潜在代码的大小为48时，结果最好。我们还研究了亮度变化对密度图变形的影响，类似于密度图压缩。在密度图的变形中，我们发现亮度不会影响结果。为了解释这种情况，我们在不暴露的情况下改变潜在代码的值：z=z×α，其中z是潜在代码的值，α是参数均值。改变的范围当它的价值变大时，我们发现，图八、光密度图的解压缩结果。我们使用了64个潜码，平均准确率超过95%S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000198表1不同大小的潜码对结果的压缩效率评分。当尺寸为48时，有效性最高。大小1632486496SSIM65.23%78.39%89.91%百分之九十点零一90.52密度图变得更亮。因此，我们认为，在密度图的变形过程中，参数设置已经包括亮度变化，因此不需要在数据集中添加亮度的调整5. 评价我们提出LatentMap来帮助用户压缩时空数据的密度图，以实现更快的前端交互、数据分析或模式匹配。基于隐码，用户可以对时空数据进行分析，包括数据预测和缺失数据的补全。为了验证该方法的有效性和参数设置的准确性，我们设计了定量和定性的方法来评估压缩结果和变形结果。我们使用L1距离[46]，L2距离[47]和结构相似性（SSIM）[48]来评估压缩结果。l1和l2等评价方法可以通过整体像素差异来 衡 量 图 像 之 间 的 差 距 ， 但 可 能 不 符 合 人 类 视 觉 系 统（HVS）。我们使用结构相似性来评估我们的恢复结果。SSIM的基本思想是通过亮度、对比度和结构三个方面来评价两幅图像的相似性。L1和L2距离越小或SSIM值越大，结果越准确。密度图的变形难以量化，因此我们将生成的结果与现有方法的结果进行了比较。我们将我们的方法与一种最先进的算法进行比较：GenerativeMap[36]。在评估中，两种方法的输入是相同的，我们比较每个帧的结果。线性插值也是处理密度图变形的一种有效方法。我们设置线性插值参数来生成相应帧的图像，可以与我们的图像进行比较。我们还研究了我们的目标函数Eq中每个分量的重要性。五、我们的模型基于GAN，因此存在GAN损失。同时，为了确保一致的亮度，我们使用L1损失而不是L2损失来减少模糊。如果我们只使用L1损失，相当于在我们的模型中只使用生成器。因此，我们删除了训练器，只训练生成器，使用L1作为损失函数。如果我们只使用GAN损失，就相当于在训练过程中去除了L1损失。将上述两种情况的结果与我们最终模型的结果进行比较，以验证我们的损失函数的有效性。5.1. 密度图压缩在压缩应用中，我们有两个评估指标。一个是潜码的大小，另一个是准确度减压的效果潜码越小，因此，我们必须在两者之间找到平衡。随着潜在代码的大小增加，压缩率，因此准确性和分数都增加。在一定程度上，潜码大小的持续增加将 不再提高精度。我们在我们的测试集中测试准确性。表1显示了我们的比较结果。因此，我们认为48位的隐码是最有效的如表2所示，我们比较了我们的方法与其他方法的效率。在密度图的压缩中，我们的方法具有最大的压缩比和最快的压缩和解压缩速度表2我们评估我们的方法的压缩比，压缩时间和准确性对自动编码器。我们使用L1距离来评估精度。自动编码器使用8个卷积层（内核大小为4，填充为1，步幅为2）。JPEG的压缩级别为5。比率↑压缩↓准确度↑Autoencoder960.6秒百分之八十九点二巴莱[49]2560.19s百分之九十三点二阿古斯特松[50]640.17s94.3JPEG200.4 s百分之八十七点二我们10240.17秒百分之九十五点二见图11。与GenerativeMap[36]和重叠变形的线性插值的比较结果。所有结果具有相同的时间间隔。(b)有一些不稳定或异常的结果。(c)由于剧烈的变化而不稳定，并且将导致诸如第一帧中的信息的丢失。我们的结果具有更精细的细节和更少的噪音。5.2.密度图由于没有现有的方法旨在评估的质量的密度图变形重叠，我们使用相同的情况下，我们的方法和其他方法的结果进行测试。图11显示了我们的比较结果。我们将我们的方法的结果与GenerativeMap的结果进行了线性插值。GenerativeMap的结果有形态上的变化，但这种变化取决于数据集，并有噪声。线性插值是一种传统的图像处理方法。线性插值的过程可以表示为I=m×I1+（1−m）×I2，其中I1和I2是输入图像。作为线性插值的参数，m的密度图的变形应该表现出变化的过程，而线性插值的结果只是亮度的变化而没有形态的变化，不能反映变形的过程。我们的研究结果表明，在亮度变化和形态变化的优势。与GenerativeMap和线性插值相比，我们的结果具有更少的噪声和更平滑的变化。5.3.损失函数分析我们的最终亏损包含两个部分：GAN亏损及L1亏损。我们进行消融研究以隔离L1损失和GAN损失的影响。我们比较使用自动编码器与使用我们的方法。L1损失函数直接比较输入图像和生成图像。当单独测试L1损失函数时，我们只使用生成器来训练数据。在测试GAN方法时，我们不使用L1损失函数。在评估实验中，我们将潜在代码大小设置为48。S. 江角，澳-地利湖，加-地Wang等人图形和视觉计算4（2021）2000199见图12。我们的方法通过损失函数的组合获得更高质量的结果。表3在密度图数据集上评估的不同损失的L1评分和SSIM评分。这些值是基于密度图解压缩的准确度计算的。L2距离损失↑相似度↑L1 89.67% 86.15%GAN 88.97% 87.61%L1+ GAN 91.65%图12显示了损失函数的比较结果。L1损失函数的结果是模糊的，GAN损失函数的结果是嘈杂的。我们的方法在密度图的压缩和解压缩中表现出更高的质量。表3显示了我们的定量比较。我们选择复杂的密度图进行评估。我们通过L2距离和SSIM计算了每个损失函数的精度。在比较中，我们使用相同大小的潜在代码。实验结果表明，该方法在低压缩率条件下获得了较高的精度和相似度。5.4.用户研究我们随机选择压缩示例和变形示例供用户进行比较。在压缩研究中，分别采用32、48和64位隐码对原始图像进行压缩，得到了恢复结果。然后对结果进行排序被用户。我们发现，用户更满意的一代，具有大小为48和64的潜在代码的封闭结构。因此，我们认为，我们选择较小的潜在码作为最终结果，以获得更高的传输效率。在密度图的变形中，我们使用GenerativeMap和线性插值来比较基于大小为48的潜在代码的结果。我们选择多对密度图作为输入，通过不同的方法得到多帧的变形过程。我们发现，如果生成的过程能够反映输入图片之间的动态过程，用户更喜欢我们的方法和GenerativeMap。对于任意密度图的输入，用户更喜欢我们的方法和线性插值.因此，我们的方法是优越的。6. 结论在本文中，我们提出了潜在的地图的空间- tiotemporal数据可视化的探索。我们压缩密度图以减少相互作用时间并获得潜在代码。基于潜码，我们展示了密度图的变形，这可以帮助用户预测数据变化并完成[1，36]中讨论的缺失数据。对于上述应用，我们制作了一个密度图数据集来训练我们的模型。此外，我们的方法可以应用于低质量或高质量的密度图。我们的方法有一些局限性。例如，散点图是数据的直接表示，而我们的方法只能适用于密度图，这不是一个简单和直接的方法来分析数据。在未来，我们将探索潜在的代码的散点图的视觉分析。此外，我们将继续探索其他应用程序的潜在空间，例如密度的模式匹配地图在时空数据可视化中的一个实际应用此外，潜在代码与我们生成的结果之间的特定关系仍有待发现。竞合利益作者声明，他们没有任何商业或相关利益，代表与提交的工作有关的利益冲突。致谢在此，我们感谢国家自然科学基金委员会对本项目的支持。61802128。补充材料与本文有关的补充材料可在在线版本中找到，网址：doi：j.gvc.2021.200019。引用[1] 李C，巴丘G，韩Y. StreamMap：流畅的高密度动态可视化，sity流点。IEEETrans Visual Comput Graphic 2017;24（3）：1381[2] Isola P，Zhu J-Y，Zhou T，Efros AA.使用条件对抗网络进行图像到图像的翻译。CVPR2017.[3] 李文辉，李文辉.使用深度卷积生成对抗网络进行无监督表示学习。 CoRR2016 arXiv：1511.06434。[4] 作者：J.自动编码变分贝叶斯。CoRR 2014 arXiv：1312。6114.[5] Goodfellow IJ，Pouget-Abadie J，Mirza M，Xu B，Warde-Farley D，Ozair S，et al. Generative adversarial networks. ArXiv 2014 arXiv：1406.2661.[6] Kodali N，Abernethy J，HaysJ、KiraZ.如何到火车你德拉甘，arXiv预印本a