Occlusion-Net：图网络驱动的2D/3D遮挡关键点定位

"Occlusion-Net是一种使用图网络来定位2D/3D被遮挡关键点的框架，尤其适用于单个视图中的关键点定位。该框架基于自我监督学习，利用现有的检测器（如MaskRCNN）作为输入，这些检测器仅在可见关键点上进行训练。Occlusion-Net的核心是图形编码器网络，它能够分类不可见的边缘，而图形解码器网络则负责校正被遮挡关键点的位置。三焦点张量损失函数为不可见关键点提供了间接的自我监督，而2D关键点通过3D图形网络进行处理，利用自监督重投影损失来估计3D形状和相机姿态。在测试阶段，Occlusion-Net能够在多种遮挡条件下准确定位单个视图中的关键点。该方法已经在合成的CAD数据和大型真实世界图像集（如CarFusion数据集）上进行了验证，并且与人类标注的不可见关键点准确性进行了比较。处理遮挡是计算机视觉领域的一个长期挑战，因为遮挡类型、数量和程度的多样性会导致方法失效。Occlusion-Net的贡献在于提供了一种新的、有效的处理遮挡问题的途径。" 在这个摘要中，主要知识点包括： 1. **Occlusion-Net框架**：这是一个用于处理被遮挡关键点定位的框架，它结合了图网络和自我监督学习。 2. **图网络**：图形编码器和解码器网络用于处理不可见边缘，修正关键点位置，这在处理遮挡问题时尤其重要。 3. **三焦点张量损失**：这是一种损失函数，为不可见关键点的位置提供间接的自我监督信号，帮助模型学习遮挡情况下的关键点定位。 4. **自监督重投影损失**：在3D图形网络中，利用此损失函数估计3D形状和相机姿态，增强了对遮挡关键点的定位能力。 5. **关键点定位**：Occlusion-Net能在单个视图中准确定位2D/3D关键点，即使在严重的遮挡情况下。 6. **数据集应用**：方法在合成CAD数据和大型真实世界图像集（如CarFusion）上进行了验证，显示了良好的泛化能力。 7. **处理遮挡的挑战**：遮挡是计算机视觉任务中常见的难题，如物体检测、跟踪、重建和识别等。 8. **性能评估**：通过比较人类标注的不可见关键点准确性，评估了Occlusion-Net的性能。 Occlusion-Net提供了一种创新的解决方案，能够有效应对遮挡问题，对于提升计算机视觉系统在复杂环境下的性能具有重要意义。