没有合适的资源?快使用搜索试试~ 我知道了~
673基于三维雷达图像的实时隐蔽武器检测纳格玛湾可汗1号khannagma@nec.com小仓一峰k-oguraay@nec.com埃里克·科萨托2cosatto@nec-labs.com有吉雅之1nec.com1日本NEC公司研发部2NEC Laboratories America,Inc.摘要本文提出了一个框架,实时隐藏武器检测(CWD)的三维雷达图像的步行通过筛选系统。步行通过筛查系统旨在通过对步行者执行CWD来确保拥挤区域中的安全,因此其需要准确且实时的检测方法。为了确保准确性,武器需要被检测,而不管其3D方向,因此我们使用3D雷达图像作为检测输入。为了实现实时性,我们重新制定了经典的基于U-Net的分割网络来执行3D检测任务。我们的3D分割网络预测峰形概率图,而不是体素掩码,以通过预测图上的基本峰检测操作来实现位置推断。在峰值形状的概率图中,峰值标志着武器的位置。因此,武器检测任务转化为概率图上的峰值检测。高斯函数用于在概率图中对武器进行建模。我们实验验证我们的方法上获得的现实三维雷达图像的步行通过武器筛选系统的原型。广泛的消融研究验证了我们提出的方法比现有的传统方法的有效性。实验结果表明,该方法能够实现准确、实时的CWD,适合于实际的走查筛选应用。1. 介绍公共场所的安全问题增加了对能够探测隐藏的手持武器以制止恐怖活动的系统的需求。隐藏武器检测(CWD)通常由身体扫描仪执行,身体扫描仪采用雷达成像技术来可视化人身上的隐藏物品 传统的人体扫描仪,如在机场广泛使用的扫描仪,要求人在扫描过程中保持静止并采取预定义的姿势,如图所示。1a[16、17]。这使得扫描过程耗时,导致低吞吐量。因此,它们不适合在拥挤的公共场所部署(a) (b)走查图1:静止扫描与走查扫描:顶行:扫描过程的顶视图。中间行:扫描的3D雷达图像,由有序的体素组成底行:对应的z轴投影2D图像。例如火车站、商场等需要快速扫描的场所。为了克服这些问题,我们开发了一个步行通过筛选系统原型(图。1b)能够对行走的人进行CWD。CWD对通过式筛查的要求有两个方面:实时处理和准确性。由于目标是一个步行的人,武器可能会被手臂或腿挡住,从而降低检测的准确性。 如果系统能够以高帧速率进行扫描,以便捕获行走的人的变化姿势,则可以解决这个问题。根据雷达传感器的传输时间 , 我 们 的 系 统 具 有 20fps 的 扫 描 速 率 ( 详 见 第 2节)。每次扫描都会生成一个雷达图像帧,因此检测方法需要20 fps的运行时间来检查所有帧。否则,任何丢失的帧都可能有错过武器检测的因此,我们的系统需要一个一些现有的方法[8,18]已经表明,卷积神经网络(CNN)非常适合从雷达图像中进行CWD的任务。然而,这些方法在检测之前将原始三维(3D)雷达图像投影到2D。基于2D投影的方法适用于674≤图图2:武器不同方位的俯视图(顶行)、相应的z轴投影图像(中间行)和x轴投影图像(底行)。传统的静态扫描,如图所示。1a.在这种情况下,扫描表面积很大,因为它是正面扫描。因此,3D图像到2D的投影保持了待检测目标的形状 而在步行扫描(图。1b),由于横向扫描,扫描表面积较小。因此,2D投影导致枪的特征形状的损失,如图1b的底行所示图2还示出了由人携带的枪的改变取向如何影响2D投影图像中的形状信息的损失。当武器的隐蔽材料的强度比武器高时,这种形状损失更严重。如果由于金属标签、拉链等的存在,整个或部分材料具有更强的反射率,则可能发生这种情况。因此,2D投影操作忽略了来自武器的接触,因为根据设计,它倾向于选择更高强度的区域,即材料反射率R是指表面反射接收到的雷达波的有效性。如图在图3b中,枪的右侧由于高R材料的存在而具有较弱的反射,因此在所产生的3D雷达图像中相对地降低其强度。因此,枪的右侧形状在沿z轴的2D投影中丢失,因此,考虑到武器在二维投影过程中的形状信息损失,准确的检测方法应该直接对三维雷达图像进行处理。因此,实时(运行时间50毫秒)的三维检测方法是需要我们的步行通过武器筛选系统。虽然3D对象检测的研究最近取得了进展,但大多数研究都是针对无顺序点云设计的[6]。这种方法不适合于有序的3D雷达图像,因为它们没有考虑相邻体素之间的空间关系另一方面,基于3D CNN的对象检测网络捕获这种空间关系,并且经常用于医学领域[20]。在许多情况下,它们基于计算密集型区域建议网络(RPN),因此不太适合我们的严格实时性。(a)简单的情况(b)困难的情况图3:从枪接收的反射(顶行),分别在3D图像和2D投影图像中的枪的强度分布(中间行和底行)。约束因此,据我们所知,目前还没有一种3D物体检测方法能够满足我们对实时性和准确性的要求。本文提出了一种基于三维雷达图像的实时精确CWD框架,用于武器筛选系统。更具体地说,我们为3D检测任务重新制定了2D分割网络U-Net [15]。U-Net具有完全卷积的架构,可以很容易地扩展到3D。此外,U-Net在具有挑战性的领域(如生物医学领域)有着良好的记录[5]。为了便于位置推断,我们的3D U-Net实现被训练来预测3D峰值形状的概率图,而不是通常的体素标签图。在概率图中,峰值表示武器的存在,因此武器检测任务转化为图上的峰值检测峰值检测操作可以在3D中有效地实现,从而提供快速检测输出。为了证明所提出的框架的有效性,我们评估了一个现实的步行通过三维雷达图像数据集。广泛的实验评估证实,所提出的实时CWD方法满足实时(20 fps)和精度要求,用于在步行通过武器筛选系统。2. 穿行式武器检查系统我们的步行通过武器筛选系统是一个身体扫描仪能够执行CWD对一个步行的人。除了身体扫描仪,闭路电视(CCTV)[10]和X射线扫描仪[3]可用于安全应用,但它们不在CWD的范围内基于闭路电视的技术通常使用光学摄像机传感器,因此不适合探测隐藏的武器。而且,基于X射线的技术使用对人类有害的高功率波因此,CCTV和X射线都不适合CWD。2.1. CWD基础知识身体扫描仪,执行CWD,采用低功率安全波,如无线电,因此适合扫描胡,675∈∈∈∈|| ||||||−||||− ||C图4:执行CWD的身体扫描仪的处理流程我们提出的框架侧重于CWD块,其输入是3D雷达图像和输出是检测结果。表1:我们的走查筛查与传统固定式身体扫描仪CWD系统投入(人/H)姿势限制固定式[8,18] 300次穿越2400无隐藏危险物品如武器。一般来说,执行CWD的系统具有如图1所示的处理流程。4.首先,在测量或扫描步骤中,雷达天线发射无线电波并接收它们从对象的反射。其次,在成像步骤中,将所获取的扫描合成为3D雷达图像帧。雷达图像的形式是3D立体化长方体,如图1的中间行所示。1.第三,在检测(CWD)步骤中,通过人类操作员或通过自动化CWD(例如,基于人工智能的检测我们提出的框架属于自动化CWD,因为需要自动化来支持我们的步行通过筛选系统的高通量。因此,在本文的以下部分中提到CWD意味着自动化CWD。最后,在判断步骤中,对基于帧的检测结果进行综合,以执行关于在人身上是否检测到武器的最终判断。2.2. 系统概述我们的步行通过武器筛选系统是一个步行通过版本的身体扫描仪,而不是传统的固定版本(图。①的人。表1总结了主要区别点 我们的系统由两个平行的雷达传感器面板组成,形成一个门,在扫描过程中,人在门之间行走,如图1的顶行所示。1b.每个面板都包含多个天线,这些天线以不同的频率发射和接收无线电波,以扫描它们之间的3D空间所有这些天线必须顺序发射,以防止任何信号干扰,然后接收反射波,以获得一个单一的扫描。顺序传输将系统的扫描速度限制为20fps,即,每次扫描50ms所获取的扫描使用波束形成算法[2]合成为3D雷达图像IR31.一、I(P)=|nπs(T,R,f)ej2πf(rPT+rPR)|图5:实时3D对象检测框架的概述。这里,PR3定义3D空间中的点,即,体素,I(P)是在第P个体素处的雷达图像的绝对值,TR3是发射器的位置,RR 3是接收器的位置,f是雷达波的频率,c是光速,r P T= PT 2,r P R = PR 2并且s(. )是获取的雷达信号。的. 运算取绝对值和。 2计算L2范数。合成的3D雷达图像I作为CWD的输入给出,CWD输出检测到的武器的位置(如果有的话)。3. 相关工作隐藏武器检测(CWD)关于慢性消耗病的现有研究屈指可数。在其中一项工作[4]中,将雷达图像划分为2D块。提取逐块SIFT特征并将其馈送到支持向量机(SVM)以用于分类成武器/无武器。由于这种方法基于补丁的性质,它可以-不满足穿行筛选的实时约束。CWD [8,18]最近的工作使用基于深度学习的方法,可以实现良好的性能和实时处理速度。然而,这些方法在检测之前将3D图像投影到2D,从而在走查筛选中丢失了武器形状信息,如图所示。1b.因此,现有的CWD工作不适合步行通过武器筛选的要求。这就是这项工作的动机。3D深度学习几乎所有现有的3D深度学习研究都是在点云领域[6]或医学领域[1,20]。点云不像雷达图像那样具有规则的网格状结构,因此针对点云设计的方法大多采用多层感知器(MLP)[7],其不考虑输入的空间阶数。通过将点云转换为有序的3D体素化格式来考虑空间顺序的一些方法[19,9,11]被设计用于分类任务,而不是检测。Zhao和Tuzel [21]尝试了点云检测,但特征提取主干部分设计为多层结构,因此忽略了3D空间关系。因此,点云3D对象检测方法并不合适我们的任务。fEURRT(一)676−v∈L=− wvy log(p)(3)现有的针对医疗数据设计的3D深度学习方法采用3D有序数据格式作为输入,类似于我们的方法,但它们不适合CWD应用,如下所述。[1]中提出的系统设计用于逐像素分割而不是检测,而[20]中提出的系统由于使用3D RPN而具有大量处理时间。4. 方法在本节中,我们将介绍我们提出的方法,用于在3D雷达图像上执行实时和准确的CWD,以进行漫游筛选。首先,概述了所提出的方法接下来是概率图的设计,网络架构和损失函数的细节4.1. 拟定方法为了使3D分割网络适应于检测,需要对其进行训练以预测概率图。如图1的步骤(1)所示,首先准备地面实况(GT)3D概率图五、 该步骤利用包含GT位置和武器尺寸信息的3D注释;更多细节将在第4.2节中介绍。接下来,在步骤(2)中,利用生成的GT 3D概率图和相应的雷达图像来训练我们的实时3D分割网络,其细节在4.3和4.4中介绍。在步骤(3)中,训练好的网络首先在雷达图像上生成预测概率图,然后使用峰值检测操作来检测和局部化峰值,即,武器,在地图上峰值检测是一种简单的数学运算,其分析概率图中的梯度以定位最大值(如果存在)。在确保峰值的值高于预定检测阈值之后,峰值检测操作最终提供检测到的峰值作为预测结果在多类设置中,对每个输出类映射执行峰值检测操作。虽然所提出的检测方法是能够定位多个武器每图像凭借的多峰形概率图,其余的文件将集中在单个武器检测每图像。4.2. 概率图我们使用一个峰值形状的高斯函数来模拟概率图中的武器。武器的3D注释,可作为3D边界框,用于生成GT概率上的高斯函数图6.提出了三维网络这里,f1=32,f2= 64,f3= 128,f4= 256,f5= 512。函数通过沿每个维度调整它 在数学术语中,k控制高斯函数与边界框重叠的程度;例如,在一个实施例中,对于k= 0。25,高斯函数的[ 2σ,2σ]范围与边界框重叠。概率图中的值位于[0,1]之间,其中1表示高斯函数的峰值。在雷达图像中不存在武器的情况下,相应的概率图由所有零概率组成在我们的实现中,3D边界框尺寸围绕武器进行了严格调整,并与x,y和z轴对齐。4.3. 3D分割网络为了在3D雷达图像上实现实时CWD,2D U-Net分割网络[15]适于提供检测输出。U-Net首先通过将所有2D操作(卷积、转置卷积和最大池化)替换为3D版本而扩展到3D为了满足实时要求,我们通过将特征图计数减半,将可训练权重的数量进一步减少到三分之一。因此,我们获得了如图所示的实时3D分割网络。其中,N_in是输入通道的数量,N_class是类的数量。最后,该网络进行训练,以产生一个峰值形状的3D概率图,以促进武器检测通过峰值检测。4.4. 损失函数我们的3D分割网络是使用损失来训练的,C cV Vv∈C ∈N类其中,pc是预测概率图能力图 包围盒中心Xi ∈ R表示v v它的平均值μi∈R3,而边界框l∈R3决定其标准差σ∈R3,第c类通道的GT概率图第v个体素,在R∈R3中。 这里,wv是vth的权重我第i个图像为i体素,w > 1对于体素,其中yc> 0,否则σ i= kl i,kli ∈ 1,2,. . . ,N(2)这里,N是图像的总数,并且kR是一个近似值。比例因子,控制高斯分布的wv= 1。重量有助于处理严重的类不平衡,因为武器在3D图像中只占总体积的2v677联系我们(a) (b)有武器的情景图7:(a)模型枪:(上)手枪和(下)左轮手枪;(b) 实验场景:(左)枪藏在包里,(右)枪藏在腰上。表2:雷达图像数据集数据拆分有武器图像无武器图像火车980010000测试24002500验证2500-5. 实验评价在本节中,我们首先介绍我们的数据集和评估方法。然后,我们通过与其他候选架构、现有的3D-RCNN和2D方法进行比较,验证了我们提出的3D方法最后,我们提出了广泛的消融研究,以验证所提出的方法的有效性数据集。我们所提出的方法进行评估,使用我们的步行通过武器筛选系统原型收集的雷达图像数据集。多名受试者通过筛选系统,携带隐藏武器(有武器)或没有武器(无武器)。在有武器的情况下,武器隐藏在现实的位置,在袋子里,在腰侧的枪套里,等等。两种类型的模型枪如图所示7a- 一把手枪和一把左轮手枪被用作目标武器。在无武器场景中,受试者携带手机、笔记本电脑、水瓶等日常用品,以使评估更加真实。实验场景如图所示。7b,数据分布见表2。验证集用于调整类权重wv,并根据验证损失选择最佳网络进行评估。概率图的2D可视化及其相应的边界框标签如图所示。8.评价方法。网络参数设置为单输入通道,即N in=1,这是雷达图像的强度,N class = 1,因为对于这个实验只有一个枪类。为了生成高斯函数,k= 0。25在Eq中使用2,因为它是实验确定为最佳的。武器检测输出如图3步骤(3)所示。五、在预测阶段,通过检测阈值来控制真阳性率(TPR)和假阳性率(FPR)。为了比较不同方法的性能,我们使用面积-(a) (b)枪在腰图8:雷达图像样本(2D可视化):左图显示了边界框标签,右图显示了概率图的高斯函数。受试者工作特征(ROC)曲线的曲线下(AUC)度量。ROC曲线是通过评估在不同检测阈值下的TPR和FPR来生成的。TPR,或更常见的称为召回措施的方法的能力,以检测武器时,它存在于图像中。因此,如下面提到的,在有武器的图像上评估召回-如果峰值,即,武器检测到并且预测的峰的位置在GT边界框内,则我们认为它是真阳性(TP),否则是假阴性(FN)。而在CWD中,FAR的目的是评估假警报的比例,即,在无武器图像中错误地检测到武器的情况下。因此,FAR仅在无武器图像上评估如下:如果在无武器图像中检测到峰值,则认为是假阳性(FP),否则认为是真阴性(TN)。由于CWD中的高FAR不利于其实际应用,因此我们使用部分AUC [12],即,通过将FAR的范围限制在0%和10%之间,将AUCeff作为我们的准确度指标。AUCeff是CWD准确性的适当总体度量,因为它捕获了各种检测阈值的召回和FAR之间的平衡我们还提出了更全面的ROC曲线进行更精细的比较。5.1. 准确度和运行时间我们的实验表明,我们提出的方法是我们的步行通过筛选系统的运行时间和精度要求方面的最佳选择运行时间被定义为在提供输入3D图像之后输出检测结果所花费的时间,并且AUCeff被用作准确度的度量我们比较我们提出的3D architecture与其他候选架构。在这个比较中使用的网络架构是基于图1的U-Net六、 对于i1,2,.,5对于每个候选架构都有所不同,如表3所示。建议的3D网络的准确性和运行时间与默认的U-Net[15](3D-UNet-default)及其变体进行了比较,其中默认特征图计数减少了75%(3D-UNet-3-by-4)和25%(3D-UNet-1-by-4),以及3D-RPN[20]和2D方法(2D-zint和2D-multi-view)的完整性。对比评价结果如图所示9.第九条。细节6781009590858075700 25 50 75 100125150175 200运行时图9:候选架构的准确度与运行时间的比较,红色虚线表示走查系统表3:特征映射和参数计数(param.)对于在走查筛选中CWD的候选体系结构,建议的3D体系结构以粗体架构f1F2F3f4F5param参数建议3D326412825651218M3D-UNet-default64128256512102472M3D-UNet-3 × 4489619238476842M3D-UNet-1-by-41632641282564M3D RPN和2D方法将在随后的小节中介绍所有框架都在PyTorch 中 实 现 [13], 并 使 用 单 个 Quadro RTX 5000GPU进行评估。如图所示。9,大多数候选架构都在红色虚线的右侧。这意味着它们超过了50ms的走查运行时间要求。有趣的是,在准确性方面,3D-UNet-3-by- 4实现了很高的价值,并且比3D-UNet-default有了显著的改进。我们怀疑减少的参数计数(比默认值少30 M)会使3D-UNet-3-by-4具有更好但是,它的运行时间明显高于我们的要求。在红色虚线左侧的架构中,所提出的3D具有最高的精度。这是因为所提出的3D架构具有足够的表示能力,而不会过于复杂,以匹配检测任务所需的复杂性。因此,所提出的3D最好地满足CWD在穿行式武器筛选系统中的精度和运行时间要求。5.2. 与现有工作的我们将我们提出的3D方法的运行时间和准确性与现有的基于RPN的方法[20]进行比较,以验证现有的工作不能满足我们的系统要求。我们在我们的验证数据集上调整了3D-RCNN网络的超参数,主要是RPN也就是说,我们调整锚的数量,它们的大小,图10:与传统的基于3D RPN的对象检测(运行时间=7fps)相比,所提出的3D方法(运行时间= 20fps)的性能[20]。表4:使用AUC_eff度量,所提出的基于3D与2D投影的方法的性能。在这里,在整个测试集上评估所有性能方法整体个简单的案例疑难案件建议3D88.888.274.9二维多视图87.787.067.4二维z整数87.687.168.3二维x整数83.882.765.1边界框重叠阈值控制区域提议的计数。由于这些优化,3D-RCNN网络的运行时间与[20]相比有所减少,但仍然远远高于我们系统的要求。优化后,3D-RCNN的运行时间为145ms(7fps),其中单独的3D RPN的运行时间为100ms。这证实了我们的理解,即RPN有助于增加运行时间,因此不适合我们的实时处理要求(20fps)。接下来,我们进行精度比较。为了公平起见,我们使用与我们提出的方法相同的准确性评估方法,而不是传统的Intersection-over-Union(IoU),即。如果预测的3D边界框的中心在GT框内,则我们说它是TP,否则不是。如图10、基于RPN的方法与我们的方法具有可比性。5.3. 与2D方法的我们通过将所提出的3D方法与基于2D投影的方法进行比较,实验验证了使用3D方法优于2D方法的性能优势,如[8,18]所示。通过使用沿着投影轴p的最大投影策略从3D绝对值图像I获得2D投影图像Ip,Ip=max(I,axis=p)(4)对于2D方法,考虑两个正交投影轴(z轴和x轴)以获得2D图像准确度:2D-z_int = 87.62D多视图= 87.7建议3D = 88.83D-UNet-default = 72.33D-UNet-3-by-4 = 93.73D-UNet-1-by-4 = 72.93D-RCNN = 90.7准确度(AUC-eff)679(a) (b)困难情况图11:容易与困难的图像:枪的位置由白色边界框显示。左右两幅照片分别显示枪藏在腰上和包里图12:所提出的3D方法与基于2D投影的方法的ROC曲线。提出的3D在这两种情况下都具有更高的性能,但对于困难的情况,它大大超过了2D方法。分别是I z和I x。 两个单独的2D网络z int和x int用Iz和I x作为检测输入进行训练,re-boundary。 2D检测方法使用概率图中的2D U-Net [15]和2D高斯函数来实现。 我们还将所提出的3D方法与多视图方法进行了比较,因为多视图2D网络经常用于其他领域[14]来学习3D形状。多视图是一种集成方法,它使用OR规则组合z int和x int的预测输出。如果z int或xint approach检测到武器,则将其计为在多视图中检测到。 结果见表4(总体)。为了进行更详细的分析,我们进一步将2400个计数的带武器测试集分为简单(2159个计数)和困难情况(249个计数)。如图所示。3、将二维投影后保持火炮形状的三维雷达图像标记为容易情况,而将遭受形状损失的图像标记为困难情况。由于这种形状损失难以量化,因此我们使用定性视觉检查来识别此类图像。甚至(a) 二进制(b)高斯图13:掩模类型(2D可视化):(a)逐体素二进制掩模vs(b)峰形高斯概率掩模。虽然二维投影图像用于定性检查,但可以理解的是,由于武器强度值较低,三维图像也很困难(图10中的中间一行)。第3b段)。两种情况下的一些样本图像如图所示。11.我们在图中给出了相同的ROC曲线。12,以及表4中的完整性准确度值。在基于2D投影的方法中,多视图方法具有比“单视图”(z int和x int)方法更好的准确性这是可以理解的,因为多视图是利用来自两个正交投影轴z和x的形状信息进行检测的整体方法。但是,与2D方法相比,所提出的3D方法执行得最有效,特别是对于困难的情况。正如预期的那样,与简单的情况相比,所有的方法在困难的情况下都具有较低的性能。但3D方法被证明是最强大的,因为简单和困难情况之间的性能差距最小。因此,可以确认,我们提出的3D方法优于2D。5.4. 消融研究峰值形状概率掩模与体素掩模。我们比较了我们的峰值形状的概率掩模与传统使用的体素明智的掩模,以表明,为mer更有意义。由于我们的原始GT注释可用作边界框,因此我们建议将GT体素掩码生成为长方体形状的二进制掩码,如图所示十三岁这样的二进制掩码类似于固体3D绑定框,包含武器的掩码的内部具有值1,而其外部具有值0。 所以可以说二进制掩码是硬标签,而我们的峰形概率掩码是软标签。在使用体素二进制掩码进行预测期间,我们计算阈值输出地图的质心以推断武器的位置。我们比较了峰值形状概率图方法与逐体素二进制掩码方法的准确性,如图所示。14,并观察到我们提出的方法明显优于。因此,我们可以得出结论,我们提出的方法,使用峰形概率图是更有意义的比传统的方法,使用二进制掩码。我们680∈联系我们图14:峰值形状概率掩模与逐体素二进制掩模之间的性能比较。(a)0的情况。125(b)0。25(c)0。5(d)0。75 (e)0图15:k2),显示为k0。125,0。25,0。5,0。75,1。0的情况。的高斯地图叠加在雷达图像上。在此要补充的是,所建议的在二进制掩模中找到武器中心的方法并不扩展到每个图像多个武器的情况,因为没有找到多个中心的直接方法。概率图大小对准确性的影响。通过改变方程中比例因子k的值,研究了高斯函数大小σi对精度的影响。2.我们实际上希望找到σ i和真实边界框的大小1 i之间的最佳比率k_opt,因此我们改变k [0]。125,0。25,0。5,0。75,1。0]。如果k太小,如图所示。15a,高斯函数不覆盖整个武器形状,导致形状信息丢失。同时,如果k太大,如图15 e所示人的身体,作为武器。不同k的ROC曲线如16所示,其中k = 0时获得最大AUC评分。25,所以我们设置k opt= 0。二十五我们想在这里补充一下,kopt与枪的尺寸无关,6. 讨论实验结果表明,该方法在满足漫游CWD实时性要求的同时,具有较好的准确性图16:概率图大小对精确度的影响,等式的σi。通过改变比例因子k来改变2。系统(图第9段)。3D-UNet-3-by-4以及3D-RCNN具有更高的准确性,但它们显著超过了走查运行时间要求,因此被认为是不合适的。另一方面,2D方法更快,并且似乎在总体度量中具有良好的准确性,但详细分析揭示了它们的缺点(表4)。如果一个人检查图中困难情况下的曲线。12,那么3D和2D之间的性能差距就显现出来了。这证实了我们的理解,即2D方法对于我们的系统不是合适的选择,因为:(1)由于2D投影期间的形状损失,检测性能受到极大的影响,以及(2)多个2D投影(多视图)不能表示3D形状并且比3D方法执行得更差,因为投影本身是有损操作。消融研究证明我们选择概率图作为分割掩模,而不是传统的二进制掩模。并且我们通知概率图的大小和地面实况边界框的大小之间的最佳比率,即k来帮助概率图的设计。总之,我们通过大量的实验研究验证了我们提出的方法的有效性,并确认它确实是执行准确和实时走查筛选的最合适的选择。7. 结论我们开发了一个框架,实时和准确的CWD的三维雷达图像的步行通过武器筛选系统,通过重新制定的二维分割网络。为了便于位置推断,分割网络被训练以预测峰形概率图,其中山峰标志着武器的位置。将预测的武器概率图提供给初级峰值检测器以获得武器检测输出。在一个真实的三维雷达图像数据集上进行了大量的实验研究,验证了该方法的有效性所提出的框架准确和实时地执行,从而使其适用于步行通过武器筛选。681引用[1] Ahmed Abdulkadir , Soeren S.Lienkamp , ThomasBrox,and Olaf Ronneberger.3D U-net:从稀疏注释中学习密集体积CoRR,abs/1606.06650,2016。[2] 沙里夫·赛义德·艾哈迈德、安德烈亚斯·希塞尔、弗兰克·古曼、马克·蒂布特、塞巴斯蒂安·梅特费塞尔和洛伦茨·彼得·施密特。先进的微波成像。IEEE微波杂志,13(6):26[3] Samet Akcay和Toby Breckon。自动威胁检测:深度学习在x射线安全成像中的进展调查。模式识别,122:108245,2022。[4] Leonardo Carrer和Alexander G.雅罗沃伊利用超视距三维雷达成像和自动目标识别进行隐蔽武器探测。在第八届欧洲会议上的真菌和传播(EuCAP 2014),第2786-2790页[5] Eric Cosatto 、 Kyle Gerard 、 Hans-Peter Graf 、 MakiOgura、Tomoharu Kiyuna、Kanako Hatanaka、YoshihiroMatsuno和Yutaka Hatanaka。肿瘤细胞比率计数的多尺度条件深度在数字和计算病理学,第5页,02 2021。[6] Yulan Guo,Hanyun Wang,Qingyong Hu,Hao Liu,LiLiu,and Mohammed Bennamoun. 3D点云的深度学习:一个 调查 。IEEE Transactions on Pattern Analysis andMachine Intelligence,43,2021。[7] 西蒙·海金。神经网络:一个全面的基础。Prentice HallPTR,1994年。[8] J.Zhang,W.Xing,M.Xing和G. Sun。基于改进的快速区域卷积神经网络的太赫兹图像检测。传感器,18:2387,2018。[9] 特吕克·勒和叶端。 点网格: 一个深度网络,3D形状理解 2018年IEEE/CVF计算机视觉和模式识别会议,第9204- 9214页[10] Jun Yi Lim , Md Istiaque Al Jobayer , Vishnu MonnBaskaran , Joanne Mun Yee Lim ,John See ,and KokSheik Wong.深度多级特征金字塔:用于视频中的非规范枪支检测。人工智能的工程应用,97,2021。[11] Daniel Maturana和Sebastian Scherer。Voxnet:用于实时对象识别的3D卷积神经网络。2015年IEEE/RSJ智能机器人和系统国际会议(IROS),第922-928页[12] 唐娜·麦克利什分析ROC曲线的一部分医学决策:医学决策学会国际杂志,9:190[13] Adam Paszke 、 Sam Gross 、 Francisco Massa 、 AdamLerer 、 James Bradbury 、 Gregory Chanan 、 TrevorKilleen 、 Zem- ing Lin 、 Natalia Gimelshein 、 LucaAntiga 、 Alban Desmai- son 、 Andreas Kopf 、 EdwardYang 、 Zachary DeVito 、 Martin Raison 、 AlykhanTejani 、 Sasank Chilamkurthy 、 Benoit Steiner 、 LuFang、Junjie Bai和Soumith Chintala。Pytorch:命令式的高性能深度学习库。神经信息处理系统进展32,第8024-8035页。Curran Associates,Inc. 2019年。[14] Shaohua Qi,Xin Ning,Guowei Yang,Liping Zhang,Peng Long,Weiwei Cai,and Weijun Li.基于深度学习的多视角三维物体识别方法综述。2021年,第69期[15] Olaf Ronneberger,Philipp Fischer,and Thomas Brox. U-Net:生物医学图像分割的卷积网络,第234-241页。Springer International Publishing,2015.[16] D. M. Sheen,D. L. McMakin和T. E.大厅用于隐蔽武器探测的三维毫米波成像IEEE Transactions on MicrowaveTheory and Techniques,49:1581[17] S.S.Ahmed , A.Schiessl , F.Gumbmann , M.Tiebout ,S.Methfessel,and L.Schmidt.先进的微波成像。IEEEMicrowave Magazine,13:26[18] T.Liu和Y.Zhao。主动毫米波影像之隐藏目标侦测。IEEE Transactions on Industrial Electronics,66:9909[19] Z. Wu,S.Song,中国黑杨A.Khosla,F.于湖,加-地Zhang,X.唐和J.肖。3d shapenets:体积形状的深度表示。2015年[20] 徐选昂,周福根,刘波,傅东山,白祥智.利用3d区域建 议 网 络 实 现 ct 图 像 中 多 器 官 的 有 效 定 位 。 IEEETransactions on Medical Imaging,38,2019。[21] Y. Zhao和O.图泽尔Voxelnet:基于点云的3D对象检测的端到端学习。2018年IEEE/CVF计算机视觉和模式识别会议,2018年。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功