孪生网络：比较与匹配的深度学习模型

Siamese(孪生)网络是一种特殊的深度学习架构，最初由Yann LeCun于2005年提出，其主要设计目的是为了实现图像间的比较，确定它们之间的相似度或匹配程度。与传统的神经网络不同，Siamese网络接受两个输入图像（而非单个），这在结构上表现为两个并行的子网络，被称为"双分支网络"。 原始的Siamese网络核心思想如下： 1. 输入：两个具有相同尺寸的图像patch（如64x64像素）。 2. 处理：每个patch通过独立的子网络进行特征提取，这些子网络通常基于卷积神经网络(CNN)，提取出各自的特征向量。 3. 输出：网络的最后一层计算两个特征向量的相似度或匹配度，通过一个特定的损失函数（如余弦相似度或距离度量），如果两个图像匹配，输出标记为1，不匹配则为-1。 然而，原始设计中的"相似度"概念有些误导，因为训练数据实际上是基于二元分类（匹配或不匹配），而非连续的相似度评分。例如，钢笔和铅笔被视为匹配，而书包则不匹配，没有量化具体的相似度级别。 为了改进这种原始设计，2015年在CVPR上发表的《Learning to Compare Image Patches via Convolutional Neural Networks》引入了新的2-channel networks。这种改进的核心在于： 1. 合并输入：将两个patch视为一个双通道图像，每个通道对应一个输入patch，形成一个(2, 64, 64)的矩阵，消除了明显的特征提取分支。 2. 直接学习：网络不再需要明确地分开处理两个patch，而是直接学习如何评估整个双通道图像的相似度，即一个整体的评价函数。 这种改进简化了网络结构，使得Siamese网络能够更有效地捕捉图像间的复杂关系，提高了性能，并且更加适应实际的图像相似度任务。后续的研究者们不断优化和扩展Siamese网络，使其在人脸识别、目标检测、行人重识别等领域得到广泛应用。