SiameseNetwork(应用篇应用篇3)：孪生网络用于图像块匹配：孪生网络用于图像块匹配
1. 摘要及目标
提出一种适用于图像块匹配的的图像描述子（名字起的很好听，convolutional descriptor，卷积描述子）。图匹配是很多计算
机视觉应用领域非常基础的问题。从最近深度学习在目标检测和分类任务取得的成功受到了启发。开发了一个模型，将原始的
输入图像块映射成一个低为的特征矢量，那么两个低维特征越小，图像块就越相似，（large otherwise）。作为一个距离测
度，作者选用了L2范数，也就是们说的欧拉距离，这个距离测度很快并广泛用于评价大多数hand-crafteddescriptors，例如
SIFT。 的方法输出了艺术级的基于L2的描述子，这个描述子可以直接取代SIFT。此外采用batch normalization 和 histogram
equalization对原始的输入图像进行预处理。结果表明（confirm），这些手段可以进一步提升描述子的性能。最后也初步讨论
了将Spatial Transformer Network添加到卷积神经网络后面的效益，并提供了初步结果。
目标：
we aim to create a CNN-based discriminative descriptor for patch matching task.
想要基于CNN设计一个判别描述子用于图像匹配工作。
2. 方法与细节
们先看一下正负样本：
（a） positive pairs (b) negative pairs
图一：这是给出的正负样本对的实例。孪生网络（不谈论衍生的双通道和空间系数两个事）有三个输入（X0，X1，Y）也就
是们通常说将对抗样本图像对和答案（标签）。对于正样本图像对，他们具有相同的3D结构、方向、尺度、位置大致应该是
对应的。但是他们也存在视角和光照的变化。负样本的差异性就很大了...
comment：采用这样的数据集还是有点嫌疑的，因为匹配问题有很多应用，但就从多视角重建而言，算是匹配问题中比较简
单的问题，如果应用于图像检索领域就更有说服力了。
2.1 方法
图2.模型结构
通过的模型结构，们可以很明显的看出来，做的就是为了设计一个tailored metric distance。这个模型模型包括两个相同的特
征描述子提取网络（们一般叫做孪生网络，共享权重和参数）。然后将提取到的特征传递到决策层，可以看到在这里直接使用
了L2范数，也就是们说的欧式距离。
评论0