![](https://csdnimg.cn/release/download_crawler_static/88424069/bg4.jpg)
G.R. 扬岛,智-地Ganichev,X.J. Wang,J.Shlens,D.苏
西略
潜在的故障模式,并突出逻辑理解(例如,属性识别、计数、比较、多重注
意和逻辑运算)
[10
,
42
,
43
,
13
,
44]
。此外,已经提出了许多专注于多任
务学习的专用神经网络架构,通过利用注意力
[45]
、外部存储器
[35
,
36]
、
一系列特征变换
[46
,
5]
、将任务显式解析为可执行子任务
[3
,
2]
以及推断对
象对之间的关系
[4]
来解决这个问题。
我们的贡献直接来自于之前对单个图像的工作,但重点是时间和记忆方
面。灵感的第二个来源是一长串认知神经科学文献,这些文献专注于开发一
系列顺序视觉任务,以锻炼和测量视觉工作记忆的特定属性
[21
,
47
,
26]
。
认知心理学和神经科学的几条线已经开发了大量的视觉任务,这些任务及时
地锻炼了属性识别、计数、比较、多重注意和逻辑运算
[32
,
26
,
33
,
34
,
28-31]
(参见其中的参考文献)。这项工作强调了任务生成中的组合性
-
这是
推广到看不见的任务的关键因素
[48]
。重要的是,该文献提供了人类和动物
对这些任务的测量,并讨论了可能构成和解释性能变化
3
COG数据集
我们设计了一系列需要广泛认知技能的任务 尤其是工作记忆。这个数据
集的一个主要目标是建立一个合成的任务集,包括许多认知任务的变体研究
在人类和其他动物
[32
,
26
,
33
,
34
,
28
数据集包含任务指令的三元组、合成图像的序列和目标响应的序列
(参见图
1
的示例)。每个图像由许多颜色、形状和位置不同的简单对象
组成。有
19
种可能的颜色和
33
种可能的形状(
6
种几何形状和
26
个小写英
文字母)。网络需要为每个图像生成口头或指向响应。
为了构建一个大的任务集,我们首先使用一个通用的统一框架来描述所
有潜在的任务。数据集中的每个任务都是抽象定义的,并从基本构建块(即
操作符)
组成。操作员执行基本计算,例如基于属性(颜色、形状等)选择
对象。或者比较两个属性(图
2A
)。操作符是抽象定义的,没有指定所涉
及的确切属性。任务由运算符的有向非循环图形成(图
2B
)。最后, 我们
通过在任务图中指定所有相关属性来实例化任务(图 第
2C
段)。任务实
例用于生成口头任务指令和最小偏差图像序列两者。可以从同一任务实例生
成许多图像序列。