![](https://csdnimg.cn/release/download_crawler_static/88423883/bg3.jpg)
在他们的调查[6,7]。该领域的大多数出版物依赖于边界不规则性并
且旨在精确对准。他们专注于自动重建,例如
[8
这些方法在只有一个
片段源的小数据集上表现良好不利的一面是,当片段来自不同的来源
时,它们会停止,并且它们需要昂贵的人工注释。此外,它们对于侵
蚀和碎片损失是脆弱的。
Doersch等人对拼图游戏不感兴趣。在[4]中提出了一种深度神经网
络来预测两个相邻片段的相对位置。作者的最终目标是将此任务用作
深度卷积神经网络(CNN)的预训练步骤,利用大量未标记的图像,
因为可以自动生成此类任务的基础事实。训练能够预测其上下文的特
征的直 觉是相同的 如在文 本文献中发现的 word 2 vec [14]或skip-
thought [15]。在[4]中,作者表明他们提出的任务优于所有其他无监督
预训练方法。基于[4],Noroozi和Favaro [16]引入了一个网络,可以同
时比较所有九个瓦片。他们声称,获得的完整表示允许丢弃的歧义,
可能已经学会了由Doersch等人提出的算法。Gur等人[17]考虑了缺失
的片段,但严重依赖边界来解决难题。
在本文中,我们专注于解决拼图游戏,而不是建立通用的图像特
征。在文化遗产中,我们有缺失的片段,也有来自各种图像的片段。
因此,[16]的设置是不切实际的,因为它恰好需要九个正确的片段来
进行预测。为此,我们的工作基于[4]中提出的方法,但我们没有共享
相同的目标,我们带来了两个重要的创新。首先,我们在合并特征时
考虑片段的局部部分之间我们相信这些相关性是重要的,因为,例
如,我们期望基线片段的右部分与右片段的左部分相关。其次,我们
寻找一个完整的片段重组,我们通过使用深度神经网络预测来构建一
个最短路径图问题。
2.2
特征组合
Doersch等人[4]使用具有共享权重的深度CNN单独处理片段,输出可
比较的特征。这些功能,然后串行连接,并提供给一个多层感知器
(MLP),执行分类。完整的网络已经通过使用随机梯度下降的标准
反向传播以端到端的方式进行了训练
在Doersch et al.[4]公式,忽略两个片段的特征之间的互协方差。事
实上,CNN的输出可以被视为局部模式激活。相对位置的预测取决于
在第一片段中的特定位置处出现的特定模式和在第二片段