深度学习和最短路径问题相结合的图像重组方法

结合深度学习和最短路径问题的图像重组Marie-Morgane Paumard1，David Picard1， 2和Hedi Tabia11ETIS，UMR8051，Uiverit´eParisSeine，Uiverit´eCergy-Pontoise， ENS EA，CNRS2SorbonneU niver it´e，CNR S，Laborat oired{marie-morgane.paumard，picard，hedi.tabia}@ ensea.fr抽象。本文讨论的问题，重组图像从脱节的碎片。更具体地说，给定一组无序的片段，我们的目标是重组一个或几个可能不完整的图像。这项工作的主要贡献是：1）几种深度神经架构，用于预测图像片段的相对位置，其表现优于先前的技术水平; 2）将重组问题转换为图问题中的最短路径，我们根据可用信息提供了几种构造算法; 3）从大都会艺术博物馆（MET）拍摄的图像的新数据集，致力于图像重组，我们为它提供了清晰的设置和强大的基线。关键词：碎片重组，拼图，图像分类，文化遗产，深度学习1介绍自动物体重建问题在计算机视觉中是非常重要的，因为它具有许多潜在的应用，例如。文化遗产和考古学。例如，给定艺术杰作的许多碎片，考古学家可能花费很长时间来搜索它们的正确配置。近年来，由于深度神经网络架构，与视觉相关的任务（如分类[1]，字幕[2]或图像检索[3]）已经得到了极大的改进，并且片段的自动重组也可以作为视觉任务，并使用相同的深度学习方法进行改进。在本文中，我们专注于全球图像重组。片段是2D瓦片，并且问题在于找到它们的近似位置，如图1所示。 为了解决这个问题，我们建立在Doersch等人提出的方法。[4]提出训练能够预测片段相对于另一个片段的相对位置的分类器。我们表明，解决重组问题的无序列表的片段可以表示为一个最短路径问题，在一个精心设计的图。图的结构很重本工作由Fondation des sciences du patrimoine，LabEx PATRIMA ANR-10-LABX-0094-012M.- M. Paumard，D. Picard，H.三合土取决于拼图的属性，例如其几何形状（位置的数量及其布局）、其完整性（每个可用位置的片段）和其同质性（所有片段在拼图中具有正确的位置）。(a) （b）重组图1：MET数据集我们的贡献如下。首先，我们提出了几种深度卷积神经网络架构，用于预测方形裁剪片段相对于另一个片段的相对位置。裁剪让我们可以忽略每一件作品的边界，专注于内容，以实现全球定位。其次，我们提出了几个图的构造算法，实现了重组问题的不同情况下的难题取决于上述性质。第三，我们在ImageNet [5]和一个由来自大都会艺术博物馆（MET）的14，000张图像组成的新数据集上对不同的神经网络和最短路径图问题组合进行了广泛的对于这个新的数据集，我们提供了一个明确的设置和评估程序，允许未来的工作重组问题进行比较。本文的组织结构如下：在第二节中，我们介绍了解谜和碎片重组的相关工作，以及特征组合的相关文献，因为它是相对位置预测的重要步骤。接下来，我们将详细介绍我们对深度神经网络构建块的主张以及与不同图像重组问题相对应的图构建算法在第4节中，我们介绍了我们的实验设置，并分析了深度神经网络和图的不同组合所获得的结果。2相关工作在本节中，我们首先介绍了解谜的相关工作。然后详细介绍了特征组合的相关文献。2.1解谜考古艺术品的重建导致更好地了解我们的历史，因此吸引了众多的研究人员，如拉希德和诺丁结合深度学习和最短路径问题的图像重组3在他们的调查[6，7]。该领域的大多数出版物依赖于边界不规则性并且旨在精确对准。他们专注于自动重建，例如[8这些方法在只有一个片段源的小数据集上表现良好不利的一面是，当片段来自不同的来源时，它们会停止，并且它们需要昂贵的人工注释。此外，它们对于侵蚀和碎片损失是脆弱的。Doersch等人对拼图游戏不感兴趣。在[4]中提出了一种深度神经网络来预测两个相邻片段的相对位置。作者的最终目标是将此任务用作深度卷积神经网络（CNN）的预训练步骤，利用大量未标记的图像，因为可以自动生成此类任务的基础事实。训练能够预测其上下文的特征的直觉是相同的如在文本文献中发现的word 2 vec [14]或skip-thought [15]。在[4]中，作者表明他们提出的任务优于所有其他无监督预训练方法。基于[4]，Noroozi和Favaro [16]引入了一个网络，可以同时比较所有九个瓦片。他们声称，获得的完整表示允许丢弃的歧义，可能已经学会了由Doersch等人提出的算法。Gur等人[17]考虑了缺失的片段，但严重依赖边界来解决难题。在本文中，我们专注于解决拼图游戏，而不是建立通用的图像特征。在文化遗产中，我们有缺失的片段，也有来自各种图像的片段。因此，[16]的设置是不切实际的，因为它恰好需要九个正确的片段来进行预测。为此，我们的工作基于[4]中提出的方法，但我们没有共享相同的目标，我们带来了两个重要的创新。首先，我们在合并特征时考虑片段的局部部分之间我们相信这些相关性是重要的，因为，例如，我们期望基线片段的右部分与右片段的左部分相关。其次，我们寻找一个完整的片段重组，我们通过使用深度神经网络预测来构建一个最短路径图问题。2.2特征组合Doersch等人[4]使用具有共享权重的深度CNN单独处理片段，输出可比较的特征。这些功能，然后串行连接，并提供给一个多层感知器（MLP），执行分类。完整的网络已经通过使用随机梯度下降的标准反向传播以端到端的方式进行了训练在Doersch et al.[4]公式，忽略两个片段的特征之间的互协方差。事实上，CNN的输出可以被视为局部模式激活。相对位置的预测取决于在第一片段中的特定位置处出现的特定模式和在第二片段4M.- M. Paumard，D. Picard，H.三合土碎片可以认为，足够深的MLP可以对这些互协方差进行建模，但直接对它们进行建模似乎也更容易。在[18]中，作者建议使用双线性模型对这些模式的同现进行建模，该模型可以使用特征向量的Kronecker乘积进行计算。他们报告了细粒度分类的准确性提高。然而，使用克罗内克积导致在实践中难以处理为了克服这一负担，[19]的作者建议使用随机投影结合Hadamard（元素）乘积来近似双线性模型。这种策略在[20]中得到了进一步扩展，其中预测以真正的深度学习方式进行训练。在[21]中还提出了基于Tucker分解的另一因子化，其允许控制所考虑的同现的秩。3方法在本节中，我们详细介绍了我们提出的方法。我们首先介绍了深度CNN模型，我们在此基础上构建该模型来解决图像重组问题。3.1相对位置预测为了解决一个难题，我们需要选择要使用的片段。我们将每个选择的片段与中心片段进行比较，并计算它们的相对位置。我们研究了几种方法来阐明这个问题。重组的第一步在于区分可能有用的片段和其他片段。在我们的谜题中，这意味着我们预测哪些片段据称是从同一图像中提取的，作为给定的中心片段，这是一个二进制分类问题。一旦仅选择了相关片段，我们将位置预测建模为8类分类问题，如图2所示。这两个分类任务都由稍后描述的深度CNN执行。我们还提出了一种替代模型，将这两个网络合并为一个网络。该单个网络预测第二片段在8个可能位置和第9类中的相对位置，如果片段不是同一图像的一部分，则激活第网络架构全球网络架构如图3.给定两个输入片段，我们首先使用共享特征提取网络（FEN）提取片段表示。我们测试了最常见的架构，并根据经验发现类似VGG的[22]网络工作得最好。因此，FEN架构受到VGG [22]简化版本的启发，如表1所示该网络由3× 3卷积序列组成，我们还尝试了其他基于较新体系结构的模型，例如结合深度学习和最短路径问题的图像重组5图2：我们的方法概述已知一个中心片段，我们正在寻找正确的排列来重新组合图像（a）。我们提取特征所有片段（b）的特征，并将它们与中心片段的特征进行比较。我们预测哪些片段是图像（c）的一部分我们检索前八个片段，并预测它们相对于中心片段的相对位置。我们将预测转化为图（d）。然后我们运行最短路径算法来重建图像图3：通用网络架构框图Resnet [25]，但我们根据经验发现，与更简单的架构相比，它们表现不佳这可以通过以下事实来解释：与完整图像相反，片段不包含尽可能多的语义信息，因此需要较少涉及的特征。还请注意，在FEN中没有全局池化[26]，因此保留了空间信息，我们认为这对于相对位置预测很每个片段的特征然后在组合层（CL）中组合与[4]中在此阶段提出的级联相反，我们探索了双线性乘积的变化，以便对u处的f e之间的互协方差进行建模。在输出f∈N（f）的情况下，通过使用特征[18]的克罗内克积来获得完整的线性积：ykron= φFEN（f1）φFEN（f2）。（一）然而，这导致非常高维的向量。与[20]类似，我们使用条目乘积探索压缩版本：yhad=（WφFEN（f1））◦（WφFEN（f2）），（2）其中◦表示Hadamard乘积。该压缩版本可以通过改变FEN中最后一层的输出大小来有效地实现。6M.- M. Paumard，D. Picard，H.三合土最后，分类阶段由两个序列组成，一个是全连接层，然后是批量归一化和ReLU激活，另一个是具有softmax激活的最终表1：特征提取网络的架构。Conv：卷积，BN：批量归一化，ReLU：ReLU激活。OUT在512、1024、2048和4096中选择，这取决于我们使用的合并函数层输出形状参数形状参数计数输入96× 96× 30Conv+BN+ReLU96× 96× 323× 3× 321kMaxpooling48× 48× 32-Conv+BN+ReLU48× 48× 643× 3× 3219kMaxpooling24× 24× 64-Conv+BN+ReLU24×24 × 1283× 3× 3274kMaxpooling12×12 × 128-Conv+BN+ReLU12×12 × 2563× 3× 32296KMaxpooling6× 6× 256-Conv+BN+ReLU6× 6× 5123× 3× 321.2MMaxpooling3× 3× 512-全连接+BN出来OUTnb参数3.2解疑释惑一旦神经网络预测出每个片段的位置，我们就可以解决这个难题，即将片段分配到图像中的某个位置。我们考虑几种情况，这取决于我们是否已经有一个定位良好的片段，以及我们是否有多余的片段。我们首先考虑的情况下，我们给出了中心片段以及一个无序的列表8片段对应的可能的邻居的中心片段。解决难题则在于解决分配问题，其中每个片段i必须与位置j相关联。给定片段i在位置j处的对应值pi，j，并且如果片段i在位置j处，则由于信号可变xi，j=1，所以我们想要最大化：Maxxi，jΣi、jpi，j·xi，j（3）在约束条件下：结合深度学习和最短路径问题的图像重组7j，i，Σ8i=0时Σ8j=0xi，j= l，⑷xi，j= 1，（5）i，j，xi，j∈ {0，1}。（六）请注意，只有一个片段可以占据一个位置（公式4），并且片段只能放置一次（公式5）。然后，如果我们允许谜题未完成（即，一些位置未被使用），我们将约束4替换为：Σ8j，i=0时xi，j≤ 1。（七）同样，如果我们有多余的片段（即一些片段未被使用），我们将约束5替换为：ΣNi，j=0xi，j≤ 1。（八）最后，如果我们不知道哪个片段是中心片段，我们必须解决扩展分配问题，其中一个片段必须被分配到中心位置，其余片段被分配到相对位置。这导致以下问题：ΣMaxc，xi，ji、jpi，j，c·xi，j，c⑼在以下限制条件下：c，j，ΣNi=0时xi，j，c≤1;Σ8c、j=0xi，j，c≤1;<$c，j，<$i/=c，xi，j，c∈ { 0， 1};c，j，3.3图形公式化解决所提及的问题可以通过在分布式地图中找到最短路径来完成，其中可以使用分布式地图的算法在本节中，我们将展示如何构建这样的图。每个图以源S开始并且以宿T结束。来自S的每个后续深度水平对应于片段。给定深度i的所有节点，8M.- M. Paumard，D. Picard，H.三合土S对应于在给定所有先前分配的情况下可以分配给片段i每个边接收对应的分类分数作为权重。当已知中心片段并且我们具有缺失片段的确切数量我们还给出了一个非常简单的例子，在图4a中只有两个相对位置。算法1从中心片段1：过程ConsT rucT edges（Y）Y是i，j2：空位置← [1.. 9]3：used pos ←[S]4：下一个碎片←15：tree←添加c hil（Y，empty pos，used pos，next frag）6：返回树边的列表：相关片段、前一节点的位置、当前节点的位置、边的成本。7：结束程序1：procedureAdd children（Y，emptypos，usedpos，next frag）2：edges←[]3：如果空位置为空，则4：edges←[（None，last（used pos），T，0）]Append thej→Tedge6：如果结束7：对于空pos中的posdo8：edges←edges[（next frag，last（used pos），pos，Y[next fragment，pos]）] 9：empty pos←empty pos\pos10：used pos←used pos ∪pos11：edges←edges∪（Add children（Y，empty pos，used pos，nextfrag+1））12：endfor13：返回边缘14：结束程序由于Σcement tral fragment是已知的，因此使用的大小图是|E|为n！+的n−1n！ 对于边 的数量和|N |= 2 +Σ（n−p）！i= n−pi！n−1n！对于顶点的数目，其中n是片段的数目，并且pi=n−pi！职位的数量有8个片段和位置，这对应于|= 150k和|N |= 100k。|= 100k.在我们不知道中心片段的情况下，我们简单地执行中心片段选择作为第一步。从S开始的第一次扩增包括所有可能的情况，其中每个片段用作中心片段。使用算法1构建相应的子图。结果图的大小不变，除了我们有n+1个片段，其中n是要分配给相对位置的片段的数量当n= 8时，我们得到|N| = 1M，|E| = 1时。3个月。我们在图4b中示出了具有3个片段和2个相对位置的简化实例。结合深度学习和最短路径问题的图像重组9(a)（b）第（1）款图4：具有已知和未知中心片段的完整问题的图的示例，对于空的2个位置最后，我们现在考虑的情况下，可能无法解决的难题与所有的片段，我们有。这意味着我们可以有超过8个片段，来自不同的来源。我们也可能有丢失的片段，因此，我们更喜欢提出不完整解决方案的算法，而不是错误的重组。我们构建一个图形，允许这样的配置，使算法挑选没有片段。图5中示出了图的简化示例。图5：允许空仓的图表示例图构建算法类似于算法1;如果我们在前因列表中添加位置Ø，我们不将其从进一步可用的选择中排除，如算法2中所详述的。该图具有：10M.- M. Paumard，D. Picard，H.三合土Σ Σ乌伦· 乌伦普|= 2 +|= 2 +.Σl（k+1）p！（十）顶点和l=0k =p−lp-kk！Σp|为|=.Σnpl（k+1）p！+.Σl（k+1）p！（十一）k=p−np-kk！l=0k =p−lp-kk！边缘，具有n个片段和p个位置。如果图的宽度由位置的数量限制，则深度取决于片段的数量。在10个片段和8个相对位置的情况下，图的大小为|E|= 5·109和|N |= 4·108。一旦建立了图，则可以使用Dijk s t ra的算法[ 27]找到从S到T的最短路径，其中，共同的复杂度为O（|E|+ |N|×10 g（N））。算法2利用空位置1：procedureAdd children（Y，emptypos，usedpos，next frag）2：edges←[]3：如果空位置为空或下一个碎片>n，则4：edges←[（None，last（used pos），T，0）]Append thej→Tedge6：如果结束7：forpos inempty pos∪ Ø do8：edges←edges∪[（next frag，last（used pos），pos，Y[next fragment，pos]）] 9：ifpos inempty posthen10：empty pos←empty pos\pos11：如果结束12：used pos←used pos ∪pos13：edges←edges（Add c hil（Y，empty pos，used pos，next frag+1））14：endfor15：返回边缘16：结束程序贪婪方法我们实现了一个贪婪方法，使我们能够基准Dijkstra算法。我们迭代地解决这个难题，在每一步从神经网络预测中选取最高值 我们期望此方法将使我们能够选择Dijkstra的n c on s i d e n c i e s t e p s。4实验在本节中，我们首先描述我们的实验设置以及与文化遗产相关的新数据集。然后，我们给出实验结果的分类任务和完整的图像重组。结合深度学习和最短路径问题的图像重组114.1实验装置神经网络使用ImageNet的1.2M图像片段进行训练我们使用50k图像来评估分类精度。每张图像都被调整大小和方形裁剪为398× 398像素，并被分成9个部分，由48像素的边缘分隔每个片段的大小为96× 96像素，必须包含在9个部分中的一个中，这意味着它可以在每个方向上的±7像素范围内选择。为了重新组装，神经网络然后在文化遗产数据集上进行微调，该数据集由来自大都会艺术博物馆的14，000张开源图像组成。这样的数据集接近我们的目标应用，解决文化遗产的难题4.2分类为了评估我们提出的分类架构，我们再现了架构Doersch等人。在[4]中详细描述。作者在ImageNet上报告了8类分类任务的复制他们的神经网络架构这可以通过调整超参数来解释。在表2中，我们报告了ImageNet验证图像上8类问题的不同组合层的准确性正如我们所看到的，Kronecker乘积比级联获得了稍好的结果。然而，使用[20]的低秩近似会产生较低的结果，这意味着需要全协方差才能获得最佳性能。请注意，我们所有的架构都优于[4]中提出的架构。表2：不同融合策略的准确性，针对ImageNet验证的8类分类问题。表示我们的实现融合精度Doersch等人[4]57.0%级联64.6%Kronecker积66.4%Hadamard积百分之五十九点二我们在表3中显示了顺序分类方法（2类，然后8类）和联合分类方法（9类）的结果对于二进制分类问题，我们将属于同一图像的片段的比例这意味着判定两个片段是否属于同一图像似乎是一个容易的问题。对于8类问题，我们获得了66.4%的准确率。达到约33%的误差并不令人惊讶，因为许多片段在三个位置之间的精确位置方面例如，天空碎片很容易12M.- M. Paumard，D. Picard，H.三合土在相对于中心片段的顶部进行分类，但是三个顶部位置中的哪一个通常难以猜测。最后，联合分类问题达到64.2%（属于同一图像的片段的比例被设置为70%），这表明解决联合问题并不比解决简单问题的序列更难。表3：使用Kronecker组合层的问题精度2-类邻域分类器92.5%8-类位置分类器66.4%九类分类器64.2%4.3重新组装在表4中，我们使用两种不同的准确性度量来比较重组任务的各种情况重建精度描述了谜题是否被完美地解决。位置准确度计算有多少片段被良好放置。表4：不同可靠问题的重建精度和位置精度问题重新建立贪婪运转精度Dijkstra位置贪婪精度Dijkstra中央已知，完整的拼图41.044.487.789.9中心未知，完全的谜36.239.269.571.1中心已知，不完整的谜题26.529.580.582.4如我们可以看到的，在中心片段已知的完整谜题的情况下，我们能够在44.4%的情况下使用Dijk算法完美地重新组装图像，其中比传统算法提高了3%，这比人们可能认为的请注意，位置精度约为90%，这比用于解决任务的神经网络的66.4%的精度要好得多。这表明解决重组问题可以消除分类器具有的一些不确定性。当不知道中心片段时，重组准确度仅下降到39.2%，位置准确度下降到71.1%。这意味着在不知道中心片段的情况下重组图像并不比已知中心片段复杂得多，然而，如果错过了第一步，则所有后续分配都可能是错误的。结合深度学习和最短路径问题的图像重组13我们考虑在谜题中添加外部碎片（表5），使准确度下降。只要拼图仍然包含9块，由加法触发的计算时间的增加是合理的。任何增加的片段的数量导致一个阶乘增加的解决方案的数量，使问题迅速棘手。尽管如此，任何谜题都可以分为3× 3谜题，分别解开，融合。表5：附加碎片其他碎片数% 01244.第44章. 百分之四百分之三百分之三89.我的超次元帝国9% 75. 百分之三六十四。百分之八在图6中，我们选择了一些具有未知中心片段的重建前两张图像说明了我们数据集的重要部分，其中很容易放错背景片段。我们的大多数重建错误都是由于类似的反转。右图所示的错误类型是罕见的;但是当中心片段错位时，所有其它片段被移位。图6：具有未知中心片段的重建的示例。红色轮廓的碎片放错了地方最后，我们研究缺失片段的情况（表4，最后一行）。在该场景中，仅从图像中获取4个片段，而8个位置可用。我们仍然能够以高精度预测位置14M.- M. Paumard，D. Picard，H.三合土图7：具有4个缺失片段的重建的实例。红色轮廓的碎片放错了地方（令人惊讶地比在中心片段未知的情况下更好），但完美地重组图像是非常困难的。这意味着算法倾向于丢弃片段，而不是将它们分配到不确定的位置。图7示出了在缺失片段的情况下的重建的实例5结论在本文中，我们解决了图像重组问题，给定一个无序的图像片段列表，我们要恢复原始图像。为此，我们提出了一种深度神经网络架构，可以预测给定片段对的相对位置然后，我们投重组问题到一个最短路径的图形算法，我们提出了几个建设算法，这取决于是否拼图是完整的，如果有丢失的部分。我们提出了一个新的数据集，包含14,000张图像来测试几个重组任务，我们表明，我们能够完美地重组图像44.4%的时间在简单的情况下，29.5%的时间，如果有丢失的片段。引用1. Krizhevsky，A.，萨茨克弗岛Hinton，G.：图像网分类与深卷积神经网络两个工作。 In：NIPS. 第1卷。（2012）10972. Johnson，J.，Karpathy，A.，李菲菲：Densecap：用于密集字幕的全卷积定位网络。在：CVPR中。（2016年）3. G〇rd〇，A.， Almazan'n，J.， Revaud，J.， Larulus，D. ：Deepimageretrieval：Léaarningglobalrepresentationsforimagesearch. In：ECCV.（20 16）241结合深度学习和最短路径问题的图像重组154. Doersch，C.Gupta，A.，Efros，A.：通过上下文预测的无监督视觉表示In：ICCV. （2015年）5. Russakovsky，O.，Deng，J.，Su，H.，Krause，J.，Satheesh，S.，妈妈，S.，黄志，Karpathy，A.，Khosla，A. Bernstein，M. Berg，A.C.，李菲菲：ImageNet LargeScaleV是一个简单的检索引擎。IJCV115（3）（2015）2116. Rasheed，N. MJ编号：二维流场分析的分类与重建方法综述 In：ISTMET.（August2015）1427. Rasheed，N. MJ编号：三维解剖结构重建的计算机方法综述 第3卷。（2015）7128. McBride，J. Kimia，B.：利用曲线匹配重建考古碎片。在：CVPRW。（2003年）9. Jampy，F.，Hostein，A.，Fauvet，E.，Laligant，O.，Truchetet，F.：考古碎片的三维拼图重建。In：3DIPM. （2015年）10. Zhu，L.，中国科学院，周志，张杰，Hu，D.：一种用于二维图像自动提取的部分曲线匹配方法。ICILNCIS345（2006）64511. Hammoudeh，Z.，Pollett，C.：基于预处理的全自动混袋拼板生产线。In：Commputeranalysis ofImagesandPatterns. （2017）第20512. 和一个L O'，F.， Taubin，G. S. ：Psqp：通过quadr aticpr o- graming解决问题。IEEETPAMI39（Feb2017）38513. 利方角Cao，D.，Liu，Y.：一种新基于混合相似度和符号矩阵的智能拼图算法。IJPRAI 32（2018）14. Mikolov，T.，萨茨克弗岛Chen，K.，科罗拉多州科拉多Dean，J.：单词和短语的分布式表示及其组合。在：NIPS。（2013）311115. 基罗斯河Zhu，Y.，Salakhutdinov，R.R.，泽梅尔河Urtasun河Torralba，A.，Fidler、S. ：Skip-thoughtvectors. In：NIPS. （2015）329416. Noroozi，M.，Favaro，P.：通过解决拼图游戏进行视觉表示的无监督学习。（2015年）17. Gur，S.，Ben-Shahar，O.：从方块到砖墙：解决拼图游戏的下一个挑战In：ICCV. （2017年）18. Lin，T.Y.，RoyChowdhury，A. Maji，S.：用于细粒度视觉识别的双线性cnn模型。 In：ICCV. （20 15）144919. 高，Y.，Beijbom，O.，Zhang，N.，达雷尔，T.：紧凑的双线性池。In：IEEE CVPR. （2016）31720. Kim，J.H.，恩，K.W.，Lim，W.，哈J B.- T.，Z.：低秩双线性池的Hadamard乘积In：ICLR. （2017年）21. Ben-Res ， H. ， Cadene 河 Cord ， M. ， 托 米 ， N. ： Mutan ： Multimodaltuckerfusionforvisualquestinanweringg. （2017）261222. 西蒙尼扬，K.，齐瑟曼，A.：用于大规模图像识别的非常深的卷积网络，ILSVRC（2014）23. Ioffe，S.，Szegedy，C.：批次标准化：通过减少内部协变量偏移来加速深度网络训练。在：ICML。（2015年）24. Nair，V.，Hinton，G.：校正线性单元改善受限玻尔兹曼机。在：ICML。（二零一零年）25. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。In：IEE ECVPR. （20 16）77026. Lin，M.，陈昆，Yan，S.：网络中的网络。ArXiv预印本arXiv：1312.4400（2013）27. Dijkstra，E.：关于图的两个问题的注记。NumerischeMathematik1（1959）269