SiameseNetwork(应用篇应用篇6):孪生网络用于图像块匹配:孪生网络用于图像块匹配
1. 摘要 及 目的
利用卷积神经网络在欧式空间下学习高效性能的描述子 descriptor。的方法在四个方面与众不同,1.我们提出了一种渐进的抽
样策略,使网络能够在几次的时间内访问数十亿的训练样本。2.从局部匹配问题的基本概念派生而来,我们强调了描述符之间
的相对距离。3.对中间特征图进行额外的监督。 4.将描述符的紧凑性考虑在内。就是采用L2距离对特征描述子进行度量。收获
到了非常好的结果(同期也有相关的工作)。
引用的原文更能说明问题:
The proposed L2-Net is a CNN based model without metric learning layers, and it outputs 128 dimensional descriptors,
which can be directly matched by L2 distance.
Comment:没有测度学习层,研究的是特征描述子、特征提取层和决策层匹配的问题。
损失函数中融合了三个误差:其一,特征描述子之间的误差;其二,控制描述子的稠密度和过拟合;其三,二外的监督控制中
间的特征图。
2. 方法 及 细节
图1. 使用的网络结构。3x3 Cov = 卷积层 + 批正则化 + 整流函数。 8x8 Conv = 卷积 + 批正则化。典型的全卷积结构,降采样
通过跨步卷积实现(stride = 2)。每层卷积层后面都跟随批正则化。进行了小的修改,批正则化层的权重核 偏置没有更新,
固定为1和0.在设计描述子过程中,标准化是很关键的一部,采用Local Response Normalization 层作为输出层,产生单位描
述子。L2-Net 将32x32的输入图像块转换成128维的特征向量。注意:右侧的网络架构是借鉴了前面的工作,也就是center-
surround模型。这里不深入研究。
引用原文:Since normalization is an important step in designing descriptors, we use a Local Response Normalization layer
(LRN) as the output layer to produce unit descriptors.
2.1 训练数据和与处理技巧
两个标准的测试集:Brown dataset 和 HPatches dataset。对于每一个图像块,进行去均值和对比度归一化。也就是我们平常
所说的去除均值除以标准差。
For each patch, we remove the pixel mean calculated across all the training patches, and then contrast normalization is
applied, i.e., subtracted by the mean and divided by the standard deviation。
2.2 训练集进行渐进抽样
主要是因为在训练样本中,非匹配的图像对远远多于匹配的图像对,所有的非匹配对不可能完全遍历到,所以一个好的采样策
略很重要。(其实是一种非常简单的采样策略)
引用原文:In local patch matching problem, the number of potential non-matching (negative) patches is orders of magnitude
larger than the number of matching (positive) patches. Due to the so large amount of negative pairs, it is impossible to
traverse all of them, therefore a good sampling
评论0