深度神经网络对物体姿势的识别容易出错

PDF格式 | 1.2MB | 更新于2025-01-16 | 146 浏览量 | 举报

4845

摆出一个姿势：神经网络很容易被熟悉物体

Michael A. 奥尔康

alcorma@auburn.edu

七里

qzl0019@auburn.edu

龚志涛

gong@auburn.edu

王成飞

czw0078@auburn.edu

龙脉

malong@adobe.com

顾维新

weishinn@auburn.edu

阮英

anhnguyen@auburn.edu

奥本大学Adobe Inc.

摘要

（a）（b）（c）（d）

尽管在静态测试集上表现出色，但深度神经网络

（

DNN

）可能无法推广到分布外（

OoD

）输入，包括

自然的、非对抗性的输入，这在现实世界中很常见在

本文中，我们提出了一个利用

渲染器和

模型发现

DNN

故障的框架也就是说，我们估计

渲染器的参

数，这些参数导致目标

DNN

响应于渲染的图像而行为

不当。使用我们的框架和自组装的

对象数据集，我

们研究了

DNN

对

ImageNet

中知名对象的

OoD

姿态的脆

弱性对于

DNN

在其规范姿势中容易识别的对象，

DNN

错误地分类了

97%

的姿势空间。此外，

DNN

对轻微的

姿态扰动高度敏感重要的是，对抗姿势可以跨模型和

数据集传输。我们发现，

99.9%

和

99.4%

的姿势被

Inception-v3

错误分类也转移到

AlexNet

，

消防车0.99

校车0.98灭火轮0.98雪橇0.79

ResNet-50

图像分类器分别在相同的

ImageNet

数据集上

训练，

75.5%

转移到在

MS COCO

上训练的

YOLOv 3

介绍

对于现实世界的技术，如自动驾驶汽车[10]，自主

无人机[14]和搜索和救援机器人[37]，测试分布可能是

非平稳的，新的观测结果通常会是分布外（OoD），

即而不是训练分布[42]。然而，机器学习（ML）模型

经常以高置信度为OoD示例分配错误的标签，例如对

抗性示例[46，29]-由对手精心制作的输入，以导致目

标模型行为不端。但是ML模型也容易受到

自然

OoD示

例的影响[21，2，48，3]。例如，当特斯拉自动驾驶

汽车无法识别时

图1：Google Inception-v3分类器[44]正确地标记了对象

的规范姿势（a），但未能识别出异常姿势的对象的分

布图像（左边的3×3图像（每个图像下面是它的前1个

预测标签和置信度得分。

在明亮的天空下，一辆白色的卡车撞上了卡车，司机

当场死亡。

以前的研究已经成功地使用3D图形作为计算机视觉

系统的诊断工具[7，31，47，32，50]。为了理解DNN

中的自然II型分类错误，我们搜索了错误分类的6D姿

势（

即

，3D平移和3D旋转）。我们的结果是-

校车1.0垃圾车0.99沙袋1.0 扫雪机0.92

摩托车0.99 降落伞1.0

雪橇1.0降落伞0.54

4846

不

在大规模图像数据集[36，22]上训练的现有技术的图

像分类器和对象检测器对许多熟悉的训练集对象的大

多数姿势进行错误分类。例如，DNN预测校车的前视

图 -ImageNet 数据集中的一个对象 [36]- 非常好（图

10）。1a）但当同一物体太近或翻转时无法识别，

即

，在OoD的姿势，但存在于现实世界中（图。1d）

的情况。然而，自动驾驶汽车需要正确估计传入的未

知物体的至少一些属性（而不是简单地拒绝它[17，

38]），以优雅地处理这种情况并最大限度地减少损

害。由于道路环境是高度可变的[3，2]，解决这种类

型的OoD错误是一个不平凡的挑战。

在本文中，我们提出了一个用于在计算机视觉模型

中发现OoD错误的框架，其中使用3D渲染器的参数空

间中的迭代优化来估计变化（

例如

，在对象几何形状

和外观，照明，背景或相机设置），导致目标DNN行

为不端（图。2）的情况。使用我们的框架，我们生成

了3D对象的不受限制的6D姿态，并研究了DNN如何响

应对象的3D平移和3D旋转。在我们的研究中，我们构

建了一个3D对象数据集，对应于与自动驾驶汽车应用

程序相关的30个ImageNet类。我们框架的代码可以在

https://github.com/airalcorn2/ strike-

with-a-pose上找到。此外，我们构建了一个简单的

GUI工具，允许用户生成自己的对象对抗渲染。我们

的主要发现是：

•

ImageNet分类器只能正确标记

。

09%

的3D对象的

整个6D姿态空间，并错误分类许多人类可识别的

生成的对抗性示例（AX）（图10）。图1b-c）。

通过小到 10的变化可以发现错误分类

。

分

，8

分

。

年

，

和9. 17

度角

分别对应于偏航、俯仰和滚转。

•

根据Inception- v3生成的AX中，99.9%和99.4%分

别传输到AlexNet和ResNet-50图像分类器，75.5%

传输到YOLOv 3对象检测器。

•

对30个对象生成的对抗姿态的训练（除了原始的

ImageNet数据之外）并没有帮助DNN很好地推广

到同一类中的对象。

总之，我们的工作表明，最先进的DNN可以很好地

执行图像分类

，但距离真正

的对象识别

还很远。虽然

通过使用更多的3D对象进行对抗性训练可以提高DNN

的鲁棒性，但我们假设未来能够进行视觉推理的ML模

型可能会从更好地结合3D信息中受益。

框架

2.1.

问题公式化

设

是图像分类器，其映射图像x ∈

上

的

softmax

概率分布

1,000个输出类[44]。设R是一个3D渲染器，它将一组

参数φ作为输入并输出渲染，

即

，二维图像R（φ）

∈

（见图2）。通常，φ被分解为网格顶点V、纹

理图像T、背景图像B、相机参数C和照明参数L，

即

，

{

，

}

[19]。为了改变给定3D对象的

6D姿态，我们对原始顶点V应用3D旋转和3D平移，由

W ∈R

参数化

产生一组新的顶点

这里，我们希望仅估计姿态变换参数

（同时保持φ

中的所有参数固定），使得渲染图像R（W;φ）使分类

器

将最高概率（在所有输出中）分配给输入。

在索引t处校正目标输出。形式上，我们试图解决以下

优化问题：

arg max（f（R（W;

）

（

）

在实践中，我们最小化目标类的交叉熵损失

。当量如

果

和R都是可微的，

即

，我们就可以计算出Δ

/ Δ

。

然而，标准的3D渲染器，OpenGL [51]，通常包括许多

不可微的

不能被复制[27]。因此，我们尝试了两种方法：（1）

利用最近提出的可微分渲染器并使用其分析梯度来执

行梯度下降;以及（2）利用不可微分的渲染器并通过

有限差分来近似梯度。

接下来我们将描述目标分类器（第二节）。2.2），

渲染器（第二节）。2.3），以及我们的3D对象数据集

（第2.3节）。2.4）在讨论优化方法之前（第（3）第

三章。

2.2.

分类网络

我们从PyTorch模型动物园[33]中选择了众所周知的

预训练Google Inception- v3 [45] DNN作为我们研究的

主要图像分类器（默认DNN，如果没有其他说明）。

DNN在ImageNet ILSVRC 2012数据集上具有77.45%的

top-1准确率[36]，该数据集包含120万张图像，对应于

1，000个类别。

2.3.

3D渲染器

不可微渲染器。我们选择

ModernGL [1]

作为不可微

渲染器。

ModernGL

是广泛使用的

OpenGL

图形引擎

的简单Python接口。ModernGL支持快速的GPU加速渲

染。

可区分的渲染器。为了

通过不可微光栅化过程实

现反向传播，Kato et

4847

背景

光源

目标网络

对象（形状、纹理）

向前传球

向后传递

误差与期望输出

“school

渲染器

(b)

图像

分

类器

（

）3D

场景

相机

图2：为了测试目标DNN，我们构建了一个3D场景（a），其中包括3D对象（这里是校车和行人），照明，背景

场景和相机参数。我们的3D渲染器将场景渲染成2D图像，图像分类器将其标记为校车。我们可以通过以下方式估

计导致分类器错误分类的校车姿势变化：

(1)通过有限差分近似梯度;或（2）通过可微分渲染器反向传播（红色虚线）

[19]用允许非零梯度的线性插值采样方案虽然近似使

梯度从输出图像流回到渲染器参数φ，但渲染质量低于

我们的不可微渲染器（见图2）。S1进行比较）。在下

文中，我们将这两个渲染器称为NR和DR。

2.4.

3D对象数据集

建设我们的主要数据集由30个独特的3D对象模型（从

许多3D模型市场购买）组成，对应于与交通环境相关

的30个ImageNet类（图1）。S2）的情况下。30类包括

20辆车（

例如

，校车和出租车）和10个与街道有关的项

目（

例如

，交通灯）。参见第S1了解更多详情。

每个3D对象被表示为网格，

即

，一个三角形面的列

表，每个面由三个顶点定义[27]。30个网格平均有9，

908个三角形（表S1）。为了最大化渲染图像的真实

感，我们只使用了具有高质量2D图像纹理的3D模型。

我们没有从公共数据集中选择3D模型，

例如

，对象-

Net 3D [52]，因为它们中的大多数没有高质量的图像

纹理。也就是说，这种模型的渲染可以被DNN正确地

分类，但仍然具有差的真实性。

评价我们认识到渲染和真实照片之间经常存在现实差

距。因此，我们严格评估了我们的渲染，以确保现实

差距是可接受的，为我们的研究。从100美元开始购

买3D

模型，我们选择了30个最高质量的模型使用

下面的评价方法

首先，我们定量评估了DNN对渲染的预测。对于每

个对象，我们采样了36个独特的视图（在ImageNet中

很常见），平均分为三组。对于每个集合，我们将对

象设置为原点，即向上方向

到（

，

），并且相机位置到（

，

z），其中

，

8}。我们采样了每组12个视图，以10

偏航

开始对象，并以每30

偏航旋转生成渲染。在所有对象

和所有渲染中，Inception-v3的top-1准确率为

。

23%

（与77

。

ImageNet图像上的45%[44]），平均top-1置信

度得分为0

。

78（表S2）。参见第S1了解更多详情。其

次，我们通过com对渲染进行了定性评估，

与真实照片进行比对我们通过三个步骤生成了116个

（真实照片，渲染）对：（1）我们检索对象的真实照

片（

例如

，汽车）从互联网;（2）在AdobePhoto-shop

中用匹配的背景内容替换对象;以及（3）我们在背景

上手动渲染3D对象，使得其姿态与参考照片中的姿态

紧密匹配。图S3显示了示例（真实照片，渲染）对。

虽然在我们的并排比较中可以发现差异，但我们发

现，如果单独呈现，大多数渲染都通过了我们的

2.5.

背景图像

先前的研究已经表明图像分类器可以在前景物体被

移除时正确地标记图像（

即

，仅基于背景内容）

[57]。因为我们研究的目的是了解DNN如何识别物体

本身，所以非空背景会阻碍我们对结果的解释。因

此，我们在RGB值为（

485

，

。

456

，

。

406

），

即

，ImageNet图像的平均像素。请注意，非空背景的

存在不应改变我们在本文中的主要定性研究结果-对抗

姿态可以很容易地在真实背景照片中找到（图10）。

①的人。

方法

我们将描述常见的姿势变换（第二节）。3.1）用于

主要实验。我们能够-

剩余10页未读，继续阅读

cpongm

粉丝: 6

深度神经网络对物体姿势的识别容易出错

cole_02_0507.pdf

工程硕士开题报告：无线传感器网络路由技术及能量优化LEACH协议研究

【东海期货-2025研报】东海贵金属周度策略：金价高位回落，阶段性回调趋势初现.pdf

图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作)

diminico_02_0709.pdf

agenda_3cd_01_0716.pdf

A课件Python全栈开发线下班.zip

diminico_02_1108.pdf

基于人工智能大模型技术的果蔬农技知识智能问答系统.pdf

diminico_02_0307.pdf

最新资源