![](https://csdnimg.cn/release/download_crawler_static/88423931/bg4.jpg)
在层之间传送的节点和激活由图的边表示所有参数在时间步之间共享。边在计
算图中产生依赖关系,需要顺序处理。通过在不同的计算核心中处理不同的
帧,视频处理可以在离线情况下有效地并行化
深度并行网络。
在基本的深度顺序视频模型中,每个层的输入是在相同时间
步长的前一层的输出,并且 网络仅在所有层已经顺序处理当前帧之后才输出
预测
;
参见图
1
(
a
)。在所提出的设计中,网络中的每一层处理其输入,将激活
传递到下一层,并立即开始处理下一个可用的输入,而无需等待整个网络完成
当前帧的计算
;
图
1
(
b
)。这是通过将展开图中的垂直边替换为对角边来实现
的,因此每一层的输入仍然是前一层的输出,但
通常来自前一个时间步
。这使
得在给定足够的计算核心的情况下,可以在一个时间步并行处理所有层,因为
它们之间没有依赖关系
延迟和吞吐量。
我们将
计算延迟
或延迟定义为帧被馈送到网络的时刻与网络
输出该帧的预测的时刻之间的时间延迟它是用于处理帧的所有层的执行时间的
总和。我们认为
吞吐量
是网络的输出速率,即网络在一个时间单位中输出多少
帧的预测。对于顺序模型,吞吐量大致是计算延迟的倒数,因此模型越深,计
算延迟越高,吞吐量越低 这里存在所提出的深度并行模型的质量:不管深度如
何,模型现在可以以其最慢层的速率进行预测。
考虑信息延迟的概念
也是有用的,信息延迟
是输入信号沿着网络的最短路径
到达输出层之前所花费的帧数。例如图
1
,(
a
)中所示的视频模型的信息延迟
为0,并且(b)中的模型的信息延迟等于3。我们将
预测延迟
定义为在网络接
收帧的时刻和网络尝试发出相应输出的时刻之间以帧为单位测量的位移。预测
延迟是训练选择,并且可以具有任何值。每当预测延迟小于信息延迟时,网络
必须对尚未完全处理
对于我们使用深度并行模型的大多数实验,我们基于视频在短期内可以预测
的假设使用预测延迟为零,并且我们训练网络以补偿其输入中的延迟并以预测
方式操作;参见图2。第1段(c)分段。但是信息延迟越高,在预测延迟为零的
情况下操作就越具有挑战性我们采用时间跳跃连接来最小化网络中不同层的信
息延迟,如图2所示。第1段(d)分段。这为更深层提供了更新鲜(但更浅)的
输入。我们称之为整体范式