双目立体匹配：融合多尺度局部与深度特征的方法

"融合多尺度局部特征与深度特征的双目立体匹配" 本文主要探讨了在立体匹配问题中如何解决不适定区域的精确匹配点寻找难题。作者提出了一种创新的双目立体匹配方法，该方法结合了多尺度局部特征和深度特征，以增强匹配的准确性和鲁棒性。 立体匹配是机器视觉中的一个重要任务，它旨在为两个不同视角的图像找到对应的像素点，从而计算出场景的深度信息。然而，在某些区域，如纹理稀疏或者重复的区域，匹配任务变得非常困难，导致不适定问题。 该方法分为两个关键的特征融合阶段。首先，融合不同尺度下的Log-Gabor特征（一种能有效捕捉图像频率信息的滤波器）和局部二值模式（LBP）特征，这两种特征分别对应于图像的结构和纹理信息，形成浅层次特征。Log-Gabor特征能够处理不同频率和方向的信息，而LBP则能捕获局部的边缘和纹理变化。通过这种融合，可以增强对复杂环境的适应性。 其次，将上述多尺度浅层融合特征与卷积神经网络（CNN）提取的深度特征相结合。CNN可以从高层抽象层面提供语义信息，如对象类别和形状，这有助于识别和匹配那些在低层特征中难以分辨的区域。通过级联这两类特征，最终得到的特征图像既包含了丰富的语义信息，也保留了结构化的局部细节。 为了进一步提高匹配的准确性，文章采用了在极线垂直方向添加噪声的方法来构造正负样本。这种方法有助于训练模型去区分由于极线对齐不准确造成的误匹配，从而降低由此产生的误差。 在实际应用中，该方法在著名的KITTI数据集上与其他两种变体方法进行了对比实验。实验结果显示，提出的融合策略在各个模块设计上具有合理性，并且与传统方法相比，显示出了优秀的匹配性能，证明了该方法的有效性和竞争力。 关键词涉及了机器视觉、立体匹配、多尺度局部特征融合、浅层次特征、孪生网络和卷积神经网络。这些关键词突显了研究的核心内容和技术手段，强调了在现代计算机视觉领域中，深度学习和多尺度特征融合在解决复杂匹配问题上的重要作用。