异质性中的一致性与人群计数区间划分

3234异质性中的一致性深入研究人群计数的计数区间划分王长安1 *庆余宋1 * 张博深1王亚标1应太1胡绪义1、3王成杰1†吉林李1马佳一4杨武21腾讯优图实验室、2腾讯盈科应用研究中心（ARC）3英国伦敦大学学院电子电气工程系4武汉大学电子信息学院，武汉，中国{changanwang，boshenzhang，caseywang，yingtai，jasoncjwang，jerolinli}@ tencent.com，qingyusong@zju.edu.cn，zceexhu@ucl.ac.uk，jyma2010@gmail.com，dylanywu@tencent.com摘要最近，在网络中不准确的学习目标的问题已经引起了广泛的关注。计数值增加……人群计数引起越来越多的关注。 灵感来自01������2,������������������������−2������������−1一些开创性的工作，我们试图解决这个问题，00������1������������−3������������−2预测计数的预定义间隔仓的索引而不是计数值本身。但是，不适当的间隔设置可能会导致计数错误。总和三点二七三点九一2.152.91������������−3≤3.2 7������������−2������0≤2.1 5������1来自不同间隔的测量极不平衡，导致较差的计数性能。 因此，我们亲-提出了一种新的计数间隔划分标准，称为Uni-计数编码密度图类图表单错误分区（UEP），它始终保持前11计数解码1所有间隔011解码计数预测类以最小化预测风险。为了减轻...在计数量化过程中不可避免地引入了离散化误差，我们提出了另一个标准，称为平均计数代理（MCP）。MCP准则选择最佳的计数代理为每个间隔表示其计数值在推理过程中，使整体预期的离散化误差的图像几乎可以忽略不计。据我们所知，这项工作是第一次深入研究这样的分类任务，并最终与计数间隔分区的一个有前途的解决方案。根据上述两个理论证明的标准，我们提出了一个简单而有效的模型，称为均匀错误划分网络（UEP-Net），它在几个具有挑战性的数据集上实现了最先进的性能。代码可从以下网址获得：腾讯优图/CrowdCounting-UEPNet.1. 介绍人群计数的任务估计给定图像或视频中的它吸引了大量的-*同等缴款。†通讯作者。目标生成计数预测图1：计数管道的图示 对于计数值在ti和ti+1之间的图 像 块 ，我们的UEPNet学习将它们分类为一个（i.e. ，ci+1）。 计数间隔边界（t0，…（2）m-2是建议的UEP标准，以确保最小的mum预期预测误差。我们分配的地面真值类的补丁的计数区间，它落入。在推理过程中，对于分类为ci的区间类的补丁，我们将其预测计数设置为ci的计数代理值σi。而计数代理是根据我们提出的MCP标准从该区间近年来，由于其在公共安全方面的广泛实际应用，引起了人们的关注。目前，大多数现有的最先进的方法采用密度图[1，18，19]作为目标，并使用卷积神经网络（CNN）进行学习。然而，广泛使用的学习目标，即如[1，12，17，20，23]中所讨论的，密度图实际上是不准确的并且往往是有噪声的。这些不完美的密度图是由几个因素引起的，例如经验选择的高斯核、大的密度变化和标签。31������������−1������������−23235偏差。如补充材料中所示，不准确的密度图引入语义内容与地面实况目标之间的严重不一致，充当学习目标中的一种“噪声”。因此，当学习具有异常值敏感损失（诸如常用的均方误差（MSE））的精确计数值时，模型可能倾向于过拟合这些不准确和模糊的受一些开创性工作的启发[3，12，21，25]，我们用局部计数（局部补丁的计数值）分类的范例解决了上述问题，如图1所示。在这样的范例中，局部计数被量化为若干预定义的计数间隔仓中的一个，这取决于它落入的间隔然后，我们采取计数区间分类，把每个区间作为一个单一的类。然而，具有增加的局部计数的样本的数量遵循长尾分布，导致不平衡的训练数据和一些计数间隔的极端计数误差。更糟糕的是，来自不同间隔的样本具有不同的学习难度，从而也贡献不同的计数误差。本文首先从设计最优区间划分策略的角度解决了上述问题具体地说，我们根据最大熵原理推导出了一个统一的错误划分（UEP）准则。没有任何先验的密度分布的一个看不见的图像，UEP标准保持预期的计数误差几乎相等的所有间隔，以最大限度地减少预测风险。这种新的策略提供了一个全面的考虑误分类错误和样本不平衡的问题。第二，从推理阶段引出了这一范式的另一个关键而尚未解决的问题。具体地，固定值（即，计数代理）应当从每个计数间隔中选择显然，将一系列局部计数映射到单个计数值将不可避免地引入可感知的离散化错误。为了缓解上述问题，我们提出了一个平均计数代理（MCP）的计数代理选择标准。MCP准则使用一个区间内样本的平均计数值作为最优计数代理，理论上证明了期望的离散化误差几乎可以忽略不计。第三，由于计数值的分布本质上是连续的，因此明确地分类计数值位于区间边界周围的样本是棘手的因此，我们设计了两个并行的预测头重叠的计数间隔，命名为交织预测头（IPH）。在这种互逆预测结构中，其计数值落在一个头部的间隔边界附近的样本更有可能在另一头部中被正确分类，从而减少由于间隔边界周围的学习模糊性而导致我们进行前-在具有各种人群密度的几个公共数据集上进行了广泛的实验，以显示一致的改进。本文的主要贡献如下：1. 提出了一种新的计数区间划分准则UEP，以解决计数区间划分问题，使基于局部计数分类的计数模型达到最小的预测风险。2. 我们提出了MCP准则，以最大限度地减少不可避免地引入的离散化误差的计数量化，这是正交的UEP准则。3. 我们提出了一个简单而有效的模型称为UEP-Net，以下两个关键标准。与IPH相结合，UEPNet在几个基准上实现了最先进的性能。2. 相关工作在本节中，我们回顾了文献中最近基于密度图学习的特别是，我们揭示了现有的局部计数分类的方法很少的缺陷，以显示我们的研究的必要性。我们还讨论了一些工作处理不完美的目标，显示我们的方法的优越性。像素密度图学习。密度图的概念首先由Lempitsky和Zisserman [10]引入，并且从那时起，这种学习目标已被广泛用于后续方法[2，8，11，28]中。这些方法通过逐像素监督进行训练，并最终通过对预测的密度图求和来获得估计的计数。虽然这些方法[5，9]取得了良好的性能，但它们仍然存在以下缺陷。首先，它们忽略了不完美的密度图的负面影响，并学会用异常敏感的损失来过拟合这些不准确的目标。其次，最小训练损失与最优计数结果之间这些问题限制了这种方法的计数Patch-wise Density Maps Learning （ 逐 块 密 度 图 学习）代替逐像素回归，基于分块密度图学习的方法预测局部分块的计数值这一思想首次应用于S-DCNet[25]，有助于缓解[16]中训练目标与评价标准之间的不一致在这些方法中，一些作品[24]采用了从常用的MSE损失进行监督的回归因此，其他方法[12，25]离散化局部计数并学习分类计数间隔。然而，尽管这样的范例的鲁棒性，但是它们两者都直观地划分计数区间，这是不适当的并且极大地限制了性能。此外，这两种方法都直接使用区间的中值来表示其类数，这是次优的，并引入了额外的离散化误差。我们还采用了补丁的范例-3236不EE∈{}T联系我们不联系我们不i=1−Σ−EVGG-16输入图像计数数目总和平均密度图类别映射00������1������������−3������������−2预测2 * Conv32 * Conv300���������1���������������−2���������������−1������������������������交织预测头解码器块图2：拟议的UEPNet的网络结构它是一个完全卷积的模型，由一个简单的编码器-解码器网络和一个交织预测头组成，采用两个计数间隔重叠的并行头来独立预测类别，并对它们的解码计数进行平均以获得最终结果。在UEP准则的指导下，从密度图中编码地面实况类图预测的类别可以被解码回本地计数，其中利用所提出的MCP准则来选择计数代理（如由红色三角形表示的UEPNet以端到端的方式使用交叉熵损失进行优化。明智的计数分类，但更侧重于其关键的尚未解决的计数区间划分问题。学习不准确的目标。最近，人们越来越关注不准确的地面实况目标的问题。一种解决方案是通过估计更准确的高斯核[20，23]来提高生成的密度图的质量，而这种提高似乎受到注释不足的限制贝叶斯损失由[17]提出，以提供对每个注释点处的计数期望的更可靠的监督，但它仍然采用逐像素回归。此外，ADSCNet [1]提出了一种自校正监督，以迭代地校正具有模型估计的注释，然而，该方法忽略了在线更新期间由这些不准确估计引入的额外噪声因此，我们求助于局部计数分类，这比学习精确但不准确的计数值更鲁棒[12]。3. 我们的方法我们首先介绍了在本文中使用的符号。第3.1条然后详细介绍了框架的流水线具体地，我们从计算图像中的局部计数开始，如第3.2.然后，我们展示了我们的战略，量化这些本地计数到不同的时间间隔。三点三在用交叉熵监督的端到端训练之后，我们通过MCP标准获得图像块的预测计数，如第2节所述。三点四分。最后，在第3.5中，详细描述了新的预测模块IPH。3.1. 符号定义表1列出了以下文本中使用的主要符号在本文中，我们通过将整个训练集分解为具有相同大小的K个图像块来进行块级分析。对于第k个图像块，其密度值的总和被计算为其局部计数dk。然后符号定义预期的计数错误。~绝对平均计数差。训练集中的所有局部计数。d k，k1，2，… 第k个本地计数。m区间总数t 0，...， tm−2计算区间边界上的值。tMAX最大本地计数。ci，i0，1，…m 第i个间隔。xij- 来自ci的第j个本地计数。ni中的样本数量lic i的长度。δi计数ci的代理。表1：主要符号定义。应该有一个包含上述K个样本的所有局部计数的集合对于具有m个间隔的任意分区设置，我们将第i个间隔表示为ci。并且ci的长度li由其左边界ti和右边界ti+1 确 定。 在其它方式中，计数值interval_i是从ti到ti+1的 连续 计 数值 范 围。 然后，对于n，y个样本xij（j1，…n i），如果它被正确分类，则我们分配固定计数值δ i（称为计数代理）作为其预测计数。是对于随机给定的不可见图像的计数误差的期望是来自多个图像或图像块的平均计数差的绝对值，其中通过减去地面实况计数和预测计数来计算计数差3.2. 本地计数计算对于包含n个头部的图像，地面实况注释可以表示为点图M=nδ（p pi），其中pi是第i个头部的点注释，并且delta函数δ（p pi）表示在像素pi处存在一个头部。然后，我们通过使用高斯核Gσ对M进行卷积来生成密度图D，其可以被描述为+的+12 * Conv3P上采样conv3P解码器块E3237ΣD=××EEEE¯|P|←|P||P|EEEE不ni=1 δ（p-pi）* G σ。Gσ中的扩展参数σ算法一：基于UEP的二进制区间划分是固定的或由k个最近的邻居确定[28]。与归一化高斯核，计数结果可以通过对密度图求和来获得。基于密度图D，我们可以构建局部计数图Ds，其中每个值是来自图像中大小为ss的对应块的人头计数。具体地，我们在密度图D上滑动大小为s的窗口而不重叠，并且将该窗口中的密度值求和作为局部计数d。3.3. 区间划分策略我们得出我们的关键分区策略的角度来看，最大限度地减少预期的计数误差为一个看不见的图像。并且是通过在图像级计算估计计数和地面实况计数之间的差的绝对值而获得的由于我们没有先验的密度分布的任何给定的看不见的图像，年龄，我们建议近似从概率抽样的角度来看具体而言，我们首先分解为来自该图像的多个非重叠块的计数差异的总和的绝对值然后，在独立和恒等分布（i.i.d.）数据，这些图像补丁被看到输入：T ←训练集中m←所需的间隔数[L，H]←搜索范围为ni li输出：P ←间期终点集合/*删除小于t0的计数*/1 不 sort（filter（T））2whileabs（H−L）> εdo/*尝试除以ni li=l*/3p←t0，n←0，P←{t0}，¯l←（L+H）/24对于dk在T中做5n←n+ 1/*找到一个端点*/6如果（dk-p）×n><$l，则7n<$0，p<$dk，P <$P <${p}/*通过和m调整[L，H]*/8如果 >=m则9L¯l//当>=m时另外10个11如果|P| ==m−1则/*调整nm−1lm−1*/12if（tMAX−p）×n>¯lthen13L←¯l作为来自14个图像块中的K个其他¯训练集 因此，对于随机给定的im，最小化E年龄等效于在所有贴片16上实现最小E其他H←l在采样子集中上述近似值帮助我们得到17设计一个通用的分区策略H←¯l//当|P|

下载后可阅读完整内容，剩余1页未读，立即下载