没有合适的资源?快使用搜索试试~ 我知道了~
Weizhe LiuMathieu SalzmannPascal FuaComputer Vision Laboratory, ´Ecole Polytechnique F´ed´erale de Lausanne (EPFL){weizhe.liu, mathieu.salzmann, pascal.fua}@epfl.ch1https://sites.google.com/view/weizheliu/home/projects/context-aware-crowd-counting50990上下文感知的人群计数0摘要0用于计算拥挤场景中人群密度的最先进方法依赖于深度网络。它们通常在整个图像或大的图像块上使用相同的滤波器。然后,它们估计局部尺度以补偿透视畸变。这通常是通过训练一个辅助分类器来实现的,该分类器用于在预定义的图像块中选择最佳的核大小,选择范围有限。因此,这些方法不能进行端到端的训练,并且在它们可以利用的上下文范围上受到限制。在本文中,我们介绍了一种端到端可训练的深度架构,该架构结合了使用多个感受野大小获得的特征,并学习了每个图像位置上每个特征的重要性。换句话说,我们的方法自适应地编码了准确预测人群密度所需的上下文信息的尺度。这产生了一种优于最先进的人群计数方法的算法,特别是在透视效果强烈的情况下。01. 引言0人群计数对于视频监控和交通控制等应用非常重要。近年来,重点是开发依赖于回归器训练的密度计数算法,用于估计单位面积的人群密度,从而可以通过积分获得总人数,而无需进行明确的检测。回归器可以基于随机森林[18]、高斯过程[7]或最近的深度网络[41, 42, 26, 31, 40, 36, 32, 24, 19,30, 33, 22, 15, 28,5]。现在,大多数最先进的方法都依赖于后者。标准卷积是这些基于深度学习的方法的核心。通过在整个图像上使用相同的滤波器和池化操作,这些方法隐含地依赖于相同的感受野。然而,由于透视畸变,应该在图像上改变感受野的大小。过去,这个问题被解决为0通过结合从不同分辨率的图像块提取的密度图[26]或使用不同尺寸的卷积滤波器获得的特征图[42,5]来解决这个问题。然而,通过无差别地融合所有尺度的信息,这些方法忽略了尺度在图像上的连续变化。虽然[31,30]通过训练分类器来预测在局部使用的感受野的大小来解决了这个问题,但由此产生的方法不能进行端到端的训练;不能应对快速的尺度变化,因为它们将单一尺度分配给相对较大的图像块;并且只能利用一小范围的感受野,以使网络保持可管理的大小。在本文中,我们介绍了一种深度架构,它明确地提取多个感受野大小的特征,并学习了每个图像位置上每个特征的重要性,从而可以应对潜在的快速尺度变化。换句话说,我们的方法自适应地编码了预测人群密度所需的上下文信息的尺度。这与人群计数方法不同,后者也使用上下文信息来解决尺度效应,如[32]所示,但只在损失函数中使用上下文信息,而不是像我们一样计算真正的多尺度特征。我们将展示它在非校准图像上的更好效果。当有校准数据可用时,我们还将展示它可以更好地利用校准数据来推断合适的局部尺度,并进一步提高性能。因此,我们的贡献是将多尺度上下文信息直接纳入端到端可训练的人群计数流程中,并学习在每个图像位置上利用正确上下文的能力。正如我们的实验证明的那样,我们在所有标准人群计数基准测试中始终优于最先进的方法,例如ShanghaiTech、WorldExpo'10、UCF CC 50和UCFQNRF,以及我们自己的Venice数据集[1],该数据集具有强烈的透视畸变。02. 相关工作0In other words, while the previous methods account forscale, they ignore the fact that the suitable scale variessmoothly over the image and should be handled adaptively.This was addressed in [16] by weighting different densitymaps generated from input images at various scales. How-ever, the density map at each scale only depends on featuresextracted at this particular scale, and thus may already becorrupted by the lack of adaptive-scale reasoning. Here,we argue that one should rather extract features at multiplescales and learn how to adaptively combine them. Whilethis, in essence, was also the motivation of [31, 30], whichtrain an extra classifier to assign the best receptive field foreach image patch, these methods remain limited in severalimportant ways. First, they rely on classifiers, which re-quires pre-training the network before training the classifier,and thus is not end-to-end trainable. Second, they typicallyfv = Fvgg(I) ,(1)51000换句话说,尽管之前的方法考虑了尺度,但它们忽略了合适的尺度在图像上平滑变化并应该被自适应处理的事实。这在[16]中通过对从输入图像在各个尺度上生成的不同密度图进行加权来解决。然而,每个尺度上的密度图仅依赖于在该特定尺度上提取的特征,因此可能已经受到缺乏自适应尺度推理的影响。在这里,我们认为应该在多个尺度上提取特征并学习如何自适应地组合它们。虽然这本质上也是[31,30]的动机,它们训练一个额外的分类器为每个图像块分配最佳感受野,但这些方法在几个重要方面仍然有限。首先,它们依赖于分类器,这要求在训练分类器之前对网络进行预训练,因此不能进行端到端的训练。其次,它们通常0我们想要测量的人群密度是地面上每单位面积的人数。然而,深度网络在图像平面上操作,因此密度估计可能会受到像素的局部尺度的严重影响,即图像面积与相应地面面积之间的比率。这个问题早已被认识到。例如,[41,17]的算法使用几何信息来适应不同的场景几何。由于这些信息并不总是容易获得,其他工作则专注于在模型内部隐式处理尺度。在[36]中,通过学习预测预定义的密度级别来实现。然而,这些级别需要在训练时由人工注释者提供。相比之下,[26,32]的算法使用在多个尺度下提取的图像块作为多流网络的输入。然后,它们要么融合特征进行最终的密度预测[26],而不考虑连续的尺度变化,要么在训练损失函数中引入一个特殊的项[32]来强制预测在尺度上的一致性。然而,这并没有将上下文信息编码到网络产生的特征中,因此影响有限。虽然[42,5]旨在通过使用不同的感受野来学习多尺度特征,但它们将所有这些特征组合起来预测密度。0将整个图像块分配给一个单一的尺度,尽管它可能很大,因此不考虑快速尺度变化。最后,它们所依赖的感受野大小范围仍然有限,部分原因是使用更大的感受野需要使用更深的架构,而这可能不容易训练,考虑到所使用的网络类型。相比之下,在本文中,我们引入了一种端到端可训练的架构,能够自适应地融合多尺度特征,而不需要显式地定义图像块,而是通过学习如何为每个像素加权这些特征,从而使我们能够适应快速尺度变化。通过利用多尺度池化操作,我们的框架可以覆盖任意大范围的感受野,从而使我们能够考虑比上述方法使用的多个感受野更大的上下文。在第4节中,我们将证明它具有卓越的性能。03. 方法0如上所述,我们的目标是利用上下文,即在图像中经常出现的大尺度一致性。然而,在经历透视失真的图像中适当评估上下文的范围和程度是一项挑战。为了满足这一挑战,我们引入了一种新的深度网络架构,将多级上下文信息自适应地编码到其生成的特征中。然后,我们展示了如何使用这些尺度感知特征在相机未校准和已校准的情况下回归到最终的密度图。03.1. 尺度感知上下文特征0我们将人群计数视为从图像中回归人群密度图。给定一组N个训练图像{Ii}1≤i≤N及其相应的地面真值密度图{Dgti},我们的目标是学习一个由θ参数化的非线性映射F,将输入图像Ii映射到尽可能与Dgti在L2范数意义下相似的估计密度图Desti(Ii)=F(Ii,θ)。遵循常见做法[25, 29,23],我们的起点是一个由预训练的VGG-16网络的前十层组成的网络[34]。给定一幅图像I,它输出的特征形式为0我们将其作为基础特征来构建我们的尺度感知特征。如第2节所讨论的,F vgg的局限性在于它对整个图像编码相同的感受野。为了解决这个问题,我们通过执行空间金字塔池化[11]从Eq.1的VGG特征中提取多尺度的上下文信息来计算尺度感知特征。具体来说,如图1底部所示,我们计算这些特征×VGG-16 networkInput imageAAAB83icbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgq2FJpTNdtMu3WzC7kQooX/DiwdFvPpnvPlv3LQ5aOsLCw/vzDCzb5hKYdB1v53K2vrG5lZ1u7azu7d/UD886pok04x3WCIT3Qup4VIo3kGBkvdSzWkcSv4YTm6L+uMT10Yk6gGnKQ9iOlIiEoyitXyP+ChibohHaoN6w226c5FV8EpoQKn2oP7lDxOWxVwhk9SYvuemGORUo2CSz2p+ZnhK2YSOeN+ionZRkM9vnpEz6wxJlGj7FJK5+3sip7Ex0zi0nTHFsVmuFeZ/tX6G0XWQC5VmyBVbLIoySTAhRQBkKDRnKKcWKNPC3krYmGrK0MZUhOAtf3kVuhdNz/L9ZaN1U8ZRhRM4hXPw4ApacAdt6ACDFJ7hFd6czHlx3p2PRWvFKWeO4Y+czx/XYpA8 AAAB83icbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgq2FJpTNdtMu3WzC7kQooX/DiwdFvPpnvPlv3LQ5aOsLCw/vzDCzb5hKYdB1v53K2vrG5lZ1u7azu7d/UD886pok04x3WCIT3Qup4VIo3kGBkvdSzWkcSv4YTm6L+uMT10Yk6gGnKQ9iOlIiEoyitXyP+ChibohHaoN6w226c5FV8EpoQKn2oP7lDxOWxVwhk9SYvuemGORUo2CSz2p+ZnhK2YSOeN+ionZRkM9vnpEz6wxJlGj7FJK5+3sip7Ex0zi0nTHFsVmuFeZ/tX6G0XWQC5VmyBVbLIoySTAhRQBkKDRnKKcWKNPC3krYmGrK0MZUhOAtf3kVuhdNz/L9ZaN1U8ZRhRM4hXPw4ApacAdt6ACDFJ7hFd6czHlx3p2PRWvFKWeO4Y+czx/XYpA8 AAAB83icbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgq2FJpTNdtMu3WzC7kQooX/DiwdFvPpnvPlv3LQ5aOsLCw/vzDCzb5hKYdB1v53K2vrG5lZ1u7azu7d/UD886pok04x3WCIT3Qup4VIo3kGBkvdSzWkcSv4YTm6L+uMT10Yk6gGnKQ9iOlIiEoyitXyP+ChibohHaoN6w226c5FV8EpoQKn2oP7lDxOWxVwhk9SYvuemGORUo2CSz2p+ZnhK2YSOeN+ionZRkM9vnpEz6wxJlGj7FJK5+3sip7Ex0zi0nTHFsVmuFeZ/tX6G0XWQC5VmyBVbLIoySTAhRQBkKDRnKKcWKNPC3krYmGrK0MZUhOAtf3kVuhdNz/L9ZaN1U8ZRhRM4hXPw4ApacAdt6ACDFJ7hFd6czHlx3p2PRWvFKWeO4Y+czx/XYpA8 VGG features fvAAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aRdutmE3U2hhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEquDau++2UNja3tnfKu5W9/YPDo+rxSUsnmWLos0QkqhNSjYJL9A03AjupQhqHAtvh+H5eb09QaZ7IJzNNMYjpUPKIM2qs5Uf9fDLrV2tu3V2IrINXQA0KNfvVr94gYVmM0jBBte56bmqCnCrDmcBZpZdpTCkb0yF2LUoaow7yxbIzcmGdAYkSZZ80ZOH+nshprPU0Dm1nTM1Ir9bm5n+1bmai2yDnMs0MSrb8KMoEMQmZX04GXCEzYmqBMsXtroSNqKLM2HwqNgRv9eR1aF3VPcuP17XGXRFHGc7gHC7BgxtowAM0wQcGHJ7hFd4c6bw4787HsrXkFDOn8EfO5w8doI7f AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aRdutmE3U2hhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEquDau++2UNja3tnfKu5W9/YPDo+rxSUsnmWLos0QkqhNSjYJL9A03AjupQhqHAtvh+H5eb09QaZ7IJzNNMYjpUPKIM2qs5Uf9fDLrV2tu3V2IrINXQA0KNfvVr94gYVmM0jBBte56bmqCnCrDmcBZpZdpTCkb0yF2LUoaow7yxbIzcmGdAYkSZZ80ZOH+nshprPU0Dm1nTM1Ir9bm5n+1bmai2yDnMs0MSrb8KMoEMQmZX04GXCEzYmqBMsXtroSNqKLM2HwqNgRv9eR1aF3VPcuP17XGXRFHGc7gHC7BgxtowAM0wQcGHJ7hFd4c6bw4787HsrXkFDOn8EfO5w8doI7f AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aRdutmE3U2hhP4GLx4U8eoP8ua/cdvmoK0vLDy8M8POvGEquDau++2UNja3tnfKu5W9/YPDo+rxSUsnmWLos0QkqhNSjYJL9A03AjupQhqHAtvh+H5eb09QaZ7IJzNNMYjpUPKIM2qs5Uf9fDLrV2tu3V2IrINXQA0KNfvVr94gYVmM0jBBte56bmqCnCrDmcBZpZdpTCkb0yF2LUoaow7yxbIzcmGdAYkSZZ80ZOH+nshprPU0Dm1nTM1Ir9bm5n+1bmai2yDnMs0MSrb8KMoEMQmZX04GXCEzYmqBMsXtroSNqKLM2HwqNgRv9eR1aF3VPcuP17XGXRFHGc7gHC7BgxtowAM0wQcGHJ7hFd4c6bw4787HsrXkFDOn8EfO5w8doI7f AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aZdu9mE3YlQQn+DFw+KePUHefPfuG1z0NYXFh7emWFn3jCVwqDrfjultfWNza3ydmVnd2//oHp41DJJphn3WSIT3Qmp4VIo7qNAyTup5jQOJW+H49tZvf3EtRGJesBJyoOYDpWIBKNoLd/088dpv1pz6+5cZBW8AmpQqNmvfvUGCctirpBJakzXc1MMcqpRMMmnlV5meErZmA5516KiMTdBPl92Ss6sMyBRou1TSObu74mcxsZM4tB2xhRHZrk2M/+rdTOMroNcqDRDrtjioyiTBBMyu5wMhOYM5cQCZVrYXQkbUU0Z2nwqNgRv+eRVaF3UPcv3l7XGTRFHGU7gFM7BgytowB00wQcGAp7hFd4c5bw4787HorXkFDPH8EfO5w8fTI7g AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aZdu9mE3YlQQn+DFw+KePUHefPfuG1z0NYXFh7emWFn3jCVwqDrfjultfWNza3ydmVnd2//oHp41DJJphn3WSIT3Qmp4VIo7qNAyTup5jQOJW+H49tZvf3EtRGJesBJyoOYDpWIBKNoLd/088dpv1pz6+5cZBW8AmpQqNmvfvUGCctirpBJakzXc1MMcqpRMMmnlV5meErZmA5516KiMTdBPl92Ss6sMyBRou1TSObu74mcxsZM4tB2xhRHZrk2M/+rdTOMroNcqDRDrtjioyiTBBMyu5wMhOYM5cQCZVrYXQkbUU0Z2nwqNgRv+eRVaF3UPcv3l7XGTRFHGU7gFM7BgytowB00wQcGAp7hFd4c5bw4787HorXkFDPH8EfO5w8fTI7g AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aZdu9mE3YlQQn+DFw+KePUHefPfuG1z0NYXFh7emWFn3jCVwqDrfjultfWNza3ydmVnd2//oHp41DJJphn3WSIT3Qmp4VIo7qNAyTup5jQOJW+H49tZvf3EtRGJesBJyoOYDpWIBKNoLd/088dpv1pz6+5cZBW8AmpQqNmvfvUGCctirpBJakzXc1MMcqpRMMmnlV5meErZmA5516KiMTdBPl92Ss6sMyBRou1TSObu74mcxsZM4tB2xhRHZrk2M/+rdTOMroNcqDRDrtjioyiTBBMyu5wMhOYM5cQCZVrYXQkbUU0Z2nwqNgRv+eRVaF3UPcv3l7XGTRFHGU7gFM7BgytowB00wQcGAp7hFd4c5bw4787HorXkFDPH8EfO5w8fTI7g bilinear interpolation-AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aZdu9mE3YlQQn+DFw+KePUHefPfuG1z0NYXFh7emWFn3jCVwqDrfjultfWNza3ydmVnd2//oHp41DJJphn3WSIT3Qmp4VIo7qNAyTup5jQOJW+H49tZvf3EtRGJesBJyoOYDpWIBKNoLZ/188dpv1pz6+5cZBW8AmpQqNmvfvUGCctirpBJakzXc1MMcqpRMMmnlV5meErZmA5516KiMTdBPl92Ss6sMyBRou1TSObu74mcxsZM4tB2xhRHZrk2M/+rdTOMroNcqDRDrtjioyiTBBMyu5wMhOYM5cQCZVrYXQkbUU0Z2nwqNgRv+eRVaF3UPcv3l7XGTRFHGU7gFM7BgytowB00wQcGAp7hFd4c5bw4787HorXkFDPH8EfO5w8GzI7Q AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aZdu9mE3YlQQn+DFw+KePUHefPfuG1z0NYXFh7emWFn3jCVwqDrfjultfWNza3ydmVnd2//oHp41DJJphn3WSIT3Qmp4VIo7qNAyTup5jQOJW+H49tZvf3EtRGJesBJyoOYDpWIBKNoLZ/188dpv1pz6+5cZBW8AmpQqNmvfvUGCctirpBJakzXc1MMcqpRMMmnlV5meErZmA5516KiMTdBPl92Ss6sMyBRou1TSObu74mcxsZM4tB2xhRHZrk2M/+rdTOMroNcqDRDrtjioyiTBBMyu5wMhOYM5cQCZVrYXQkbUU0Z2nwqNgRv+eRVaF3UPcv3l7XGTRFHGU7gFM7BgytowB00wQcGAp7hFd4c5bw4787HorXkFDPH8EfO5w8GzI7Q AAAB7HicbZBNS8NAEIYn9avWr6pHL4tF8FQSEfRY9OKxgmkLbSib7aZdu9mE3YlQQn+DFw+KePUHefPfuG1z0NYXFh7emWFn3jCVwqDrfjultfWNza3ydmVnd2//oHp41DJJphn3WSIT3Qmp4VIo7qNAyTup5jQOJW+H49tZvf3EtRGJesBJyoOYDpWIBKNoLZ/188dpv1pz6+5cZBW8AmpQqNmvfvUGCctirpBJakzXc1MMcqpRMMmnlV5meErZmA5516KiMTdBPl92Ss6sMyBRou1TSObu74mcxsZM4tB2xhRHZrk2M/+rdTOMroNcqDRDrtjioyiTBBMyu5wMhOYM5cQCZVrYXQkbUU0Z2nwqNgRv+eRVaF3UPcv3l7XGTRFHGU7gFM7BgytowB00wQcGAp7hFd4c5bw4787HorXkFDPH8EfO5w8GzI7Q ………....…… blocksk(j) × k(j)AAAB+XicbZBNS8NAEIYn9avWr6hHL4tFqJeSiKDHohePFWwttKFstpt27eaD3UmhhP4TLx4U8eo/8ea/cdPmoK0vLDy8M8PMvn4ihUbH+bZKa+sbm1vl7crO7t7+gX141NZxqhhvsVjGquNTzaWIeAsFSt5JFKehL/mjP77N648TrrSIowecJtwL6TASgWAUjdW37XHt6Zz0UIRck5z7dtWpO3ORVXALqEKhZt/+6g1iloY8Qiap1l3XSdDLqELBJJ9VeqnmCWVjOuRdgxE1m7xsfvmMnBlnQIJYmRchmbu/JzIaaj0NfdMZUhzp5Vpu/lfrphhce5mIkhR5xBaLglQSjEkeAxkIxRnKqQHKlDC3EjaiijI0YVVMCO7yl1ehfVF3Dd9fVhs3RRxlOIFTqIELV9CAO2hCCxhM4Ble4c3KrBfr3fpYtJasYuYY/sj6/AGcRZJV AAAB+XicbZBNS8NAEIYn9avWr6hHL4tFqJeSiKDHohePFWwttKFstpt27eaD3UmhhP4TLx4U8eo/8ea/cdPmoK0vLDy8M8PMvn4ihUbH+bZKa+sbm1vl7crO7t7+gX141NZxqhhvsVjGquNTzaWIeAsFSt5JFKehL/mjP77N648TrrSIowecJtwL6TASgWAUjdW37XHt6Zz0UIRck5z7dtWpO3ORVXALqEKhZt/+6g1iloY8Qiap1l3XSdDLqELBJJ9VeqnmCWVjOuRdgxE1m7xsfvmMnBlnQIJYmRchmbu/JzIaaj0NfdMZUhzp5Vpu/lfrphhce5mIkhR5xBaLglQSjEkeAxkIxRnKqQHKlDC3EjaiijI0YVVMCO7yl1ehfVF3Dd9fVhs3RRxlOIFTqIELV9CAO2hCCxhM4Ble4c3KrBfr3fpYtJasYuYY/sj6/AGcRZJV AAAB+XicbZBNS8NAEIYn9avWr6hHL4tFqJeSiKDHohePFWwttKFstpt27eaD3UmhhP4TLx4U8eo/8ea/cdPmoK0vLDy8M8PMvn4ihUbH+bZKa+sbm1vl7crO7t7+gX141NZxqhhvsVjGquNTzaWIeAsFSt5JFKehL/mjP77N648TrrSIowecJtwL6TASgWAUjdW37XHt6Zz0UIRck5z7dtWpO3ORVXALqEKhZt/+6g1iloY8Qiap1l3XSdDLqELBJJ9VeqnmCWVjOuRdgxE1m7xsfvmMnBlnQIJYmRchmbu/JzIaaj0NfdMZUhzp5Vpu/lfrphhce5mIkhR5xBaLglQSjEkeAxkIxRnKqQHKlDC3EjaiijI0YVVMCO7yl1ehfVF3Dd9fVhs3RRxlOIFTqIELV9CAO2hCCxhM4Ble4c3KrBfr3fpYtJasYuYY/sj6/AGcRZJV …………............……… blocksk(j) × k(j)AAAB+XicbZBNS8NAEIYn9avWr6hHL4tFqJeSiKDHohePFWwttKFstpt27eaD3UmhhP4TLx4U8eo/8ea/cdPmoK0vLDy8M8PMvn4ihUbH+bZKa+sbm1vl7crO7t7+gX141NZxqhhvsVjGquNTzaWIeAsFSt5JFKehL/mjP77N648TrrSIowecJtwL6TASgWAUjdW37XHt6Zz0UIRck5z7dtWpO3ORVXALqEKhZt/+6g1iloY8Qiap1l3XSdDLqELBJJ9VeqnmCWVjOuRdgxE1m7xsfvmMnBlnQIJYmRchmbu/JzIaaj0NfdMZUhzp5Vpu/lfrphhce5mIkhR5xBaLglQSjEkeAxkIxRnKqQHKlDC3EjaiijI0YVVMCO7yl1ehfVF3Dd9fVhs3RRxlOIFTqIELV9CAO2hCCxhM4Ble4c3KrBfr3fpYtJasYuYY/sj6/AGcRZJV AAAB+XicbZBNS8NAEIYn9avWr6hHL4tFqJeSiKDHohePFWwttKFstpt27eaD3UmhhP4TLx4U8eo/8ea/cdPmoK0vLDy8M8PMvn4ihUbH+bZKa+sbm1vl7crO7t7+gX141NZxqhhvsVjGquNTzaWIeAsFSt5JFKehL/mjP77N648TrrSIowecJtwL6TASgWAUjdW37XHt6Zz0UIRck5z7dtWpO3ORVXALqEKhZt/+6g1iloY8Qiap1l3XSdDLqELBJJ9VeqnmCWVjOuRdgxE1m7xsfvmMnBlnQIJYmRchmbu/JzIaaj0NfdMZUhzp5Vpu/lfrphhce5mIkhR5xBaLglQSjEkeAxkIxRnKqQHKlDC3EjaiijI0YVVMCO7yl1ehfVF3Dd9fVhs3RRxlOIFTqIELV9CAO2hCCxhM4Ble4c3KrBfr3fpYtJasYuYY/sj6/AGcRZJV AAAB+XicbZBNS8NAEIYn9avWr6hHL4tFqJeSiKDHohePFWwttKFstpt27eaD3UmhhP4TLx4U8eo/8ea/cdPmoK0vLDy8M8PMvn4ihUbH+bZKa+sbm1vl7crO7t7+gX141NZxqhhvsVjGquNTzaWIeAsFSt5JFKehL/mjP77N648TrrSIowecJtwL6TASgWAUjdW37XHt6Zz0UIRck5z7dtWpO3ORVXALqEKhZt/+6g1iloY8Qiap1l3XSdDLqELBJJ9VeqnmCWVjOuRdgxE1m7xsfvmMnBlnQIJYmRchmbu/JzIaaj0NfdMZUhzp5Vpu/lfrphhce5mIkhR5xBaLglQSjEkeAxkIxRnKqQHKlDC3EjaiijI0YVVMCO7yl1ehfVF3Dd9fVhs3RRxlOIFTqIELV9CAO2hCCxhM4Ble4c3KrBfr3fpYtJasYuYY/sj6/AGcRZJV front-end networkfeature mapsConvConvConvConvUpsampleUpsampleUpsampleUpsampleConvConvConvConvweighted feature mapsconcatenationback-end decoderinput imagedensity mapAverage pooling----××-×sj = Ubi(Fj(Pave(fv, j), θj)) ,(2)cj = sj − fv .(3)fI =�fv|�Sj=1 ωj ⊙ sjSj=1 ωj�,(5)51010平均池化 Conv 1 × 10尺度特征 s j0对比特征 c j0Figure 1: 上下文感知网络。(顶部)RGB图像被送入一个前端网络,该网络由VGG-16网络的前10层组成。通过平均池化和1×1卷积层将产生的局部特征分组成不同大小的块。然后将它们上采样回原始特征大小以形成对比特征。对比特征进一步用于学习用于生成最终密度图的尺度感知特征的权重。(底部)如图1的扩展版本所示,对比特征是局部特征和上下文特征之间的差异。0尺度感知特征为0其中,对于每个尺度j,Pave(∙,j)将VGG特征平均到k(j)×k(j)的块中;Fj是一个卷积网络,其卷积核大小为1,用于在不改变其维度的情况下组合上下文特征。我们这样做是因为SPP使每个特征通道独立,从而限制了表示能力。我们验证了没有这个的性能会下降。这与早期的卷积降维方法不同[37,43];Ubi表示双线性插值,将上下文特征的数组上采样为与fv相同大小。在实践中,我们使用4个不同的尺度,对应的块大小k(j)∈{1, 2, 3,6},因为这样的设置显示出更好的性能。使用我们的尺度感知特征的最简单方法是将它们全部连接到原始的VGG特征fv上。然而,这不会考虑到尺度在图像中的变化。为了模拟这一点,我们提出学习预测权重图,以设置每个空间位置上的每个尺度感知特征的相对影响。为此,我们首先将对比特征定义为0它们捕捉了特定位置的特征与邻域中的特征之间的差异,这通常0是一个重要的视觉线索,表示显著性。请注意,对于人类来说,显著性很重要。例如,在图2的图像中,眼睛自然而然地被吸引到中心的女人身上,部分原因是因为图像其他部分的边缘都指向她的方向,而她所在位置的边缘则不是。在我们的上下文中,这些对比特征为我们提供了理解每个图像区域局部尺度的重要信息。因此,我们将它们作为输入传递给具有权重 θ j sa 的辅助网络,该网络计算我们使用的 S个不同尺度的权重 ω j的分配情况。每个这样的网络输出一个特定尺度的权重图,形式为 ω j = F j sa ( c j , θ j sa ) . (4)0F j sa 是一个 1 × 1 卷积层,后面跟着一个 sigmoid函数,以避免除以零。然后,我们使用这些权重计算我们最终的上下文特征,如下所示0其中 [ ∙|∙ ] 表示按通道连接操作,⊙表示权重图和特征图之间的逐元素乘积。总之,如图1所示,网络 F ( I, θ ) 提取了上述讨论的上下文特征 f I,然后将其传递给由几个扩张卷积组成的解码器,生成密度图。网络的具体架构在表1中描述。正如我们的实验所示,这个网络已经在所有基准数据集上超过了现有技术水平,而没有明确使用关于相机几何的信息。然而,如下所述,当这些信息可用时,这些结果可以进一步改进。Because of perspective distortion, the contextual scopesuitable for each region varies across the image plane.Hence, scene geometry is highly related to contextual in-formation and could be used to guide the network to betteradjust to the scene context it needs.We therefore extend the previous approach
下载后可阅读完整内容,剩余1页未读,立即下载
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)