Mask R-CNN训练源码解析：维度标注与理解

"这篇文章是作者在阅读Mask R-CNN源码时所做的笔记，主要关注训练阶段，记录了各个步骤的输入和输出张量的维度，旨在帮助理解代码流程。作者指出可能存在错误或遗漏，期待读者指正。文章链接指向了Matterport在GitHub上的Mask R-CNN项目。在训练过程中，模型的输入包括`input_image`和`input_image_meta`等，其中`input_image`默认为(2, 1024, 1024, 3)，`input_image_meta`默认为(2, 93)。此外，还提到了`input_rpn_match`、`input_rpn_bbox`和`input_gt_class_ids`、`input_gt_boxes`等输入数据的形状和计算方法。" Mask R-CNN是一个深度学习模型，特别用于实例分割和目标检测任务，由He et al.在2017年的论文中提出。它在 Faster R-CNN的基础上增加了Mask分支，能够同时预测物体边界框（bbox）和分割掩模（mask）。在训练过程中，理解模型的输入和处理流程至关重要。 首先，`input_image`是批量数据，表示的是输入的图像，维度为(batch_size, height, width, channels)，其中batch_size通常是批量处理的图像数量，高度和宽度反映了预处理后的图像尺寸，channels通常是3，代表红绿蓝三个颜色通道。 `input_image_meta`包含了与输入图像相关的元数据，包括图像的大小、缩放信息、锚点（anchor）配置以及其他配置参数。具体结构为(batch_size, 1 + 3 + 3 + 4 + 1 + config.NUM_CLASSES)，这些数字可能分别代表图像信息、RGB均值、RGB标准差、四个边界框变换参数、是否忽略的标志以及类别的数量。 `input_rpn_match`是一个布尔张量，用于标识每个锚点（anchor）是否匹配到一个GT（Ground Truth）框。其形状为(batch_size, num_anchors, 1)，其中num_anchors是根据特征图尺度和预先设定的锚点比例计算得出的。 `input_rpn_bbox`是用于RPN（Region Proposal Network）训练的锚点框坐标，形状为(batch_size, config.RPN_TRAIN_ANCHORS_PER_IMAGE, 4)，每个元素表示一个四元组(x, y, w, h)，表示相对于特征图像素的边界框坐标。 `input_gt_class_ids`和`input_gt_boxes`是地面真实（GT）的目标类别ID和边界框，它们提供了训练时的监督信息。`input_gt_class_ids`的形状为(batch_size, config.MAX_GT_INSTANCES)，表示每个图像最多允许的GT实例数。`input_gt_boxes`则是对应的GT边界框，经过归一化处理，形状为(batch_size, config.MAX_GT_INSTANCES, 4)，其中4个元素分别代表(x, y, w, h)坐标。 在训练Mask R-CNN时，模型会依次通过Backbone（如ResNet）提取特征，RPN生成候选区域，然后RoIAlign将候选区域转化为固定大小的特征，最后通过分类和分割分支进行预测。每个步骤都需要理解输入数据的含义和处理方式，以便有效地优化模型性能。