"认知AI：超越深度的黑暗常识"

PDF格式 | 5.82MB | 更新于2025-01-16 | 13 浏览量 | 举报

工程

（

2020

）

310

研究

人工智能

专题文章

黑暗，超越深度：一个具有人类常识的认知AI的范式转变

朱一新

，

刘

晓波a，高

涛

，范立峰

，黄思远

，马克·埃德蒙兹

，刘航新

，高

峰

，张驰

，

四元奇

，影念武

，约书亚B。特南鲍姆

，朱松春

视觉、认知、学习和自主中心，加利福尼亚大学，洛杉矶，

CA 90095

，美国

美国麻省理工学院大脑、思维和机器中心，剑桥，

MA 02139

阿提奇莱因福奥

文章历史记录：

收到2019年

2019

年

月

日修订

2020年1月3日接受

2020年2月22日在线提供

保留字：

计算机视觉人工智能

直观的物理功能感知的

意图实用程序

A B S T R A C T

深度学习的最新进展基本上是基于“小任务的大数据”范式，在这种范式下，大量的数据被用来为单个窄任务训

练分类器。在本文中，我们呼吁改变这种范式。具体来说，我们提出了一个“大任务的小数据”范式，其中单个

人工智能（AI）系统面临着开发“常识”的挑战，使其能够用很少的训练数据解决各种任务。我们通过回顾综合

了机器和人类视觉最近突破的常识模型来说明这种新范式的潜在力量。我们将功能、物理、意图、因果和效用

（FPICU）确定为具有人类常识的认知AI的五个核心领域当作为一个统一的概念时，FPICU关注的是“为什么”

和“如何”的问题它们在像素方面是不可见的，但却推动着视觉场景的创造、维护和发展。因此我们称它们为视

觉的“暗物质”。正如我们的宇宙不能仅仅通过研究可观察物质来理解一样，我们认为，如果不研究FPICU，就

不能理解视觉。我们展示了这种观点的力量，通过展示如何观察和应用FPICU来解决各种具有挑战性的任务，

包括工具使用，规划，效用推理和社会学习，开发具有人类常识的认知AI系统。总之，我们认为下一代人工智

能必须接受“黑暗”的人类常识来解决新的

高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章

（

http://creativecommons.org/licenses/by-nc-nd/4.0/

）。

对视觉和人工智能范式转变的呼吁

计算机视觉是人工智能的大门，是现代智能系统的重要组成部分

由先驱

David Marr

提出的计算机视觉的经典定义

[1]

是看

“

什么

”

是

“

在哪里

”

。这里，这种定义对应于人脑中的两条通

路：①腹侧通路用于物体和场景的分类识别，②背侧通路用于深度

和形状、场景布局、视觉引导动作等的重构。这一范式指导了基于

几何的

通讯作者。

电子邮件地址：

yixin.zhu@ ucla.edu（Y。Zhu）。

世纪

80 - 90

年代的计算机视觉方法

在过去的几年里，随着深度神经网络（DNN）的快速发展，在硬件

加速和大量标记数据集的可用性的推动下，在对象检测和定位方面取得

了进展。然而，我们离解决计算机视觉或真正的机器智能还很远;当前计

算机视觉系统的推理和推理能力是狭窄的，高度专业化的，需要为特殊

任务设计的大量标记训练数据集，并且缺乏对常见事实的普遍理解-即对

普通人类成年人来说显而易见的事实-描述我们的物理和社会世界如何工

作。为了填补现代计算机视觉和人类视觉之间的差距，我们必须找到一

个更广阔的视角，从这个视角来建模和推理缺失的维度，即人类的常

识。

https://doi.org/10.1016/j.eng.2020.01.011

2095-8099/

2020 THE COMEORS.

由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于

CC BY-NC-ND

许可证的开放获取文章

（

http://creativecommons.org/licenses/by-nc-nd/4.0/

）。

可在ScienceDirect上获得目录列表

工程

杂志主页：

www.elsevier.com/locate/eng

Y. Zhu

等人

工程

（

2020

）

310

311

我们对视觉的这种理解类似于在宇宙学和天体物理学家领域所观察

到的。在20世纪80年代，物理学家提出了现在的标准宇宙学模型，其

中电磁波谱观测到的

暗物质和暗能量的性质和特征是无法观测到的，必须使用复杂的模

型从可见的质能中推理出来。然而，尽管暗物质和暗能量是不可见的，

但它们有助于解释可见宇宙的形成、演化和运动。

我们打算借用这个物理概念来提高视觉社区和其他领域对缺失维

度以及联合表示和联合推理的潜在好处的认识我们认为，人类可以

从稀疏和高维的数据中做出丰富的推论，并从一张图片中实现深刻

的理解，因为我们拥有共同但视觉上无法感知的知识，这些知识永

远无法仅仅通过询问

“

什么

”

和

“

在哪里

”

来理解具体来说，人造物体和

场景的设计具有潜在的功能性，这是由不可解释的物理定律及其下

游因果关系决定的

;

考虑一下我们对水从水壶中流出的理解，或者我

们对透明物质（如玻璃）可以用作固体桌面的知识，告诉我们图

中发

生了什么。

一、同时，人类活动，特别是社会活动，又受到因果

性、物理性、功能性、社会意图、个人偏好和效用的制约在图像和

视频中，许多实体（例如，功能对象、流体、对象流和意图）和关

系（例如，因果效应和物理支持）是不可能通过仅考虑外观的大多

数现有方法检测的

;

这些潜在因素没有以像素表示。然而

它们是普遍存在的，并且支配对于当前方法来说相对容易检测的可见

实体的放置和运动。

这些无形的因素在最近的计算机视觉文献中基本上是缺失的，在这

些文献中，大多数任务都被转换为分类问题，由大规模注释数据和使用

神经网络的端到端训练来授权。这就是我们所说的“小任务大数据”的计

算机视觉范例和AI。

在本文中，我们的目标是提请注意一个有前途的新方向，在这个

方向上，将

“

黑暗

”

实体和关系的考虑通过推理可见像素之外的不可观

察因素，我们可以近似人类的常识，使用有限的数据来实现各种任务

的概括这样的任务将包括经典的

“

什么和哪里

”

问题的混合分类、定位

和重构）和我们创造了这个新的范例

当然，众所周知，视觉是一个不适定的逆问题[1]，其中只有像素是

直接看到的，其他任何东西都是隐藏的/潜在的。“黑暗”的概念垂直于视

觉和概率建模中使用的“潜在”或“隐藏”的含义，并且比它们更丰富;“黑

暗”是对实体进行分类或推断关系的相对困难的度量，基于在可见外观或

几何形状之外需要多少不可见的常识。实体可以落在一个连续的“黑暗”

光谱上

图

一、通过联合分析和认知推理对场景或事件进行深入理解的示例从单个图像中，计算机视觉系统应该能够联合：

①

重建

场景

;

②

估计相机参数、材料和照明

;

③

用属性、流畅

度和关系分层地解析场景

;

对代理的意图和信念进行推理（例如，本例中的人和狗）;预测它们的动作;并预测不可见元素，如水、潜在对象状态等。作为人类，我们可以毫不费力地

①

预测水即将从水壶中出来

;

②

推理出将番茄酱瓶倒置的意图是利用重力方便使用

;

③

看到狗下面有一个玻璃桌，这是用现有的计算机视觉方法难以检测到的

;

如果没有看到玻璃桌，解析

结果将违反物理定律，因为狗似乎漂浮在半空中。这些感知只能通过推理场景中不被像素表示的不可观察因素来实现，这要求我们构建一个具有人类核心知识和常识的

系统，而这

些知识和常识在当前的计算机视觉研究中基本上是缺失的

：高度

; L

：长度

; W

：宽度。

英寸

= 2.54

厘米。

https://map.gsfc.nasa.gov/universe/。

312

Y. Zhu

等人

工程

（

2020

）

310

并且因此对于诸如椅子之类的功能性对象被认为相比之下，水壶的功能

是

本文的其余部分从第2节中的“什么”和“哪里”方面重新审视计算机视

觉的经典观点开始为了使用“小数据”来解决“大任务”，我们确定并审查

了视觉共同感的五个关键轴：功能，物理，意图，因果关系和效用

（FPICU）。因果关系（第三节）是智能理解的基础.因果关系的应用

（即，直觉物理学;第4节）使人类能够理解我们生活的物理世界。功能

性（第5节）是对人类在与之交互时所使用的物理环境的进一步理解，

在活动中执行适当的行动以改变世界。当考虑物理世界之外的社会互动

时，人类需要进一步推断意图（第6节），以理解其他人的行为。最

终，随着对物理和社会世界的知识积累，理性主体的决策是功利驱动的

（第7节）。在一系列的研究中，我们证明了“黑暗实体”和“黑暗关系”的

这五个关键方面确实支持了不仅仅是分类的各种视觉任务。我们在第8

中总结并讨论了我们的观点，认为掌握这些基本的看不见的成分对人工

智能的未来至关重要

愿景：从数据驱动到任务驱动

视觉系统应该为它所服务的代理人提供什么？从生物学的角度来

看，大多数生物都使用单一的

（具有多个组件）视觉系统执行数千项任务。这与计算机视觉研究中的

主流思想形成鲜明对比，在计算机视觉研究中，单个模型是专门为单个

任务设计的。在文献中，这种在各种任务之间进行概括、适应和转移的

有机范式被称为任务中心视觉[3]。在图2所示的厨房中，即使是像煮一

杯咖啡这样简单的任务也包括多个子任务，包括寻找物体（物体识

别），抓取物体（物体操作），寻找牛奶（物体识别），在冰箱里，

并添加糖（任务规划）。先前的研究表明，一个人可以在一分钟内煮完

一杯咖啡。 1分钟，通过利用单个视觉系统来促进各种子任务的执行

[4]。

神经科学研究也提出了类似的结果，表明人类的视觉系统比任何现

有的计算机视觉系统都要强大得多，而且不仅仅是记住像素的模式。例

如，Fang和He[5]表明，识别图像中的人脸与识别可作为工具操作的物

体使用了不同的机制，如图3所示;事实上，他们的结果表明，人类对工

具的外观的视觉反应可能比人脸更敏感，从而充分理解了物体如何帮助

执行任务的推理。在视觉智能中根深蒂固。其他研究[6]也支持类似的

结论，即即使不需要明显的行动，工具的图像也会“增强”行动。总之，

这些结果表明，我们的生物视觉系统具有感知物体功能的机制（即，如

何将对象作为工具来操作），其独立于管理面部识别（和其他对象的识

别）的机制。所有这些发现都要求探索人类视觉系统和自然智能的机

制。

2.1. ‘‘What

人类大脑可以在200毫秒内抓住这一工作路线经常导致研究人员将分

类视为数据驱动的过程[11-

图二、即使是像泡茶这样

“

简单

”

的任务，一个人也可以利用他或她的（

）三个不同的受试者在一个小的长方形厨房里完成同样的泡茶任务时的视觉注视记录

;

（

）从眼动录

像带中提取的注视模式示例

;

（

）泡茶过程中的一系列视觉和运动事件

Rot

：旋转

; ktl

：水壶。转载自参考文献

[4]

，经

SAGE Publication

许可，©

1999

。

Y. Zhu
等人
/
工程
6
（
2020
）
310
313
图三.人类背侧和腹侧通路对不可见物体的皮层反应。(a)刺激（工具和面孔）和实验程
序;（b）背侧和腹侧区域都对工具和面孔作出反应。当刺激被抑制的高对比度动态纹
理，背侧反应仍然响应工具，但不面对，而无论是工具或面孔引起太多的激活腹侧区。
BOLD：血氧水平依赖性。转载自参考文献[5]，经Nature Publishing Group许可，
©2005
。
建筑学[16，17]。在过去的十年里，这种思想推动了计算机视觉和机器
学习中的图像分类研究，并取得了显着的进展，包括DNN最近的成功
[18
尽管这些方法在公开数据集中的识别准确性方面在场景分类方面
取得了良好的表现，但最近的一项大规模神经科学研究
[21]
表明，当
前
DNN
无法解释灵长类动物（人类和猴子）的图像级行为模式，这
引起了人们对灵长类动物物体视觉背后的神经机制的更精确解释的此
外，数据驱动的方法已经导致场景分类研究的焦点远离视觉信息的重
要决定因素
-分类任务本身[22，23]。同时，
这些方法还不清楚分类如
何与场景语义相互作用，使认知推理。心理学研究表明，人类视觉
在推理过程中组织表征，即使是对于
“
简单
”
的根据观众如参考文献
[24]
所示，场景分类和信息收集
过程受到这些分类任务的约束[25，26]，表明视觉输入和观众的需求/任
务之间存在双向相互作用除了场景分类，在面部识别中也观察到类似的
现象[27]。
在早期的工作中，Ikeuchi和Hebert[28]受到机器人抓取文献的启
发，提出了一种以任务为中心的表示法。具体来说，在没有恢复详细的
3D模型的情况下，他们的分析表明，各种抓取策略需要物体提供不同的
功能能力;因此，同一物体的表示可以根据计划的任务而变化（图5）
[28]。举个例子，抓一个杯子可能会导致两种不同的抓握方式--圆柱形
的杯身和钩形的杯柄。这些发现还表明，视觉（在这种情况下，识别可
抓握的部分）在很大程度上是由任务驱动的;不同的任务导致不同的视觉
表征。
2.2.
‘‘Where
在文献中，
3D
机器视觉的方法假设目标是从相机
/
观察者的角度构
建场景的精确
3D
模型这些运动恢复结构（
SfM
）和同时定位和映射
（
SLAM
）方法
[29]
已经成为
3D
场景重建中的主流范例。特别是，
从单个二维（
2D
）图像的场景重建是一个众所周知的不适定问题
;
可
能存在无限数量的可能的
3D
配置与投影的
2D
观察图像匹配
[30]
。然
而，这里的目标不是精确匹配
3D
地面实况配置，而是通过在功能，
物理和对象关系方面生成最佳配置来使代理执行任务直到最近
[31-
38]
，这一系列的工作大多与识别和语义分开研究
;
见图。
6
[36]
举个例子。
将重建作为
“
认知地图
”
的想法有着悠久的然而，我们的生物视觉
系统并不依赖于对特征和变换的精确计算
;
现在有大量证据表明，人
类以一种从根本上不同于任何当前计算机视觉算法的方式来表示场景
的
3D
布局
[40
，
41]
。事实上，多项实验研究并不支持全局度量表示
[42-
在一个案例研究中，
Glennerster
等人
[53]
证明了观察者对执行
各种任务的移动观察者周围环境规模的巨大变化缺乏敏感性
在所有最近的证据中，网格细胞可能是最著名的发现，表明视觉
任务不需要精确的
3D
重建
[54
网格细胞编码欧几里得空间的认知表
征，这意味着感知和处理位置和方向的不同机制这一发现后来被授予
2014
年诺贝尔生理学或医学奖。令人惊讶的是，这种机制不仅存在
于人类
[57]
，而且在小鼠
[58
，
59]
，蝙蝠
[60]
和其他动物中也发现
了。
Gao et al.[61]
和
Xie et al.[62]
提出了一种网格单元的表示模
型，其中智能体的
2D
自位置由高维向量表示，智能体的
2D
自运动或
位移由变换向量的矩阵表示。这种基于矢量的模型能够学习网格单元
的六边形模式，具有误差校正、路径积分和路径规划。最近的一项研
究还表明，在某些人类导航任务中，基于视图的方法实际上比基于
3D
重建的方法更好
[63]
。
尽管有这些发现，我们如何在复杂的环境中航行，同时始终能够
返回到原始位置（即，归巢）仍然是生物学中的一个谜，

314

Y. Zhu

等人

工程

（

2020

）

310

见图4。参考文献[24]中的实验展示了自上而下和自下而上信息之间的诊断驱动的双向相互作用，用于在特定层次级别对场景（a）给定场景的相同输入图像，如果要求受试者在

图五

不同的抓取策略需要不同的功能能力。复制自

Ref

。

[28]

经

IEEE

许可，©

1992

。

神经科学也许Vuong等人最近的一项研究[64]为空间的任务依赖性表征

提供了证据，可以提供一些线索。具体来说，在这个实验中，参与者犯

了很大的，一致的指向错误，任何单一的3D表示都很难解释。他们的研

究表明，保持视觉方向以到达看不见的目标的机制既不是基于场景的稳

定3D模型，也不是基于扭曲的模型;相反，参与者似乎形成了一个平坦

的和任务相关的表示。

2.3.

超越

心理学研究表明，人类的视觉经验远比“什么”和“哪里”丰富得多。早

在婴儿期，人类就能迅速有效地感知因果关系（例如，感知到物体A发

射物体B）[65，66]，代理和意图（例如，理解一个实体正在追逐另一

个实体）[67预测一堆不稳定的岩石即将沿特定方向坠落）[70，71]。这

样的物理和社会概念可以被感知

图六、以合成分析方式进行3D室内场景解析和重建的说明[36]。3D表示由各个视觉任

务初始化对象检测、

布局估计）。联合推理算法比较渲染的法线、深度和分割图与

直接从输入的红绿蓝（

RGB

）图像估计的图之间的差异，并迭代地调整

结构复制自

Ref

。

[36]

在施普林格的许可

从两个媒体丰富的视频

[72]

和更稀疏的视觉输入

[73

，

74];

见图中的例

子。

7 .

第一次会议。

为了使人工代理具有类似的能力，我们呼吁联合推理算法的联合表

示，

①对物体、场景、动作、事件等的“可见的”传统识别和分类;以及②流畅

性、因果关系、物理学、功能性、启示、意图/目标、效用等的“黑暗的”

更高层次的这些概念又可以分为五个轴：流畅和感知的因果关系，直观

的物理，功能，意图和目标，以及效用和偏好，如下所述。

2.3.1.

流畅和感知的因果关系

流利

，这是艾萨克·牛顿[75]和麦克劳林[76]分别创造和讨论的概念，

并被人工智能和常识推理[77，78]采用，指的是随时间变化的对象的瞬

态，例如杯子是空的或装满的，

剩余35页未读，继续阅读

cpongm

粉丝: 6

"认知AI：超越深度的黑暗常识"

人工智能论文：基于深度学习的目标检测技术综述.docx

人工智能：深度学习从入门到精通体系课2022

机器直觉：超越深度学习的人工智能新视角

Deepseek-R1：超越OpenAI的开源人工智能.pdf

C++实现的神经网络驱动国际象棋AI：超越DeepMind AlphaZero

探索人工智能：类人思考与认知模型的深度解析

理解人工智能：归结原理深度解析

人工智能认知探索：新领域与进展

"人工智能与人类智能关系探讨：超越或模拟？

掌握AI：深度学习与TensorFlow实践指南

最新资源