在在Pytorch中使用中使用Mask R-CNN进行实例分割操作进行实例分割操作
主要介绍了在Pytorch中使用Mask R-CNN进行实例分割操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
在这篇文章中,我们将讨论mask R-CNN背后的一些理论,以及如何在PyTorch中使用预训练的mask R-CNN模型。
1.语义分割、目标检测和实例分割语义分割、目标检测和实例分割
之前已经介绍过:
1、语义分割:在语义分割中,我们分配一个类标签(例如。狗、猫、人、背景等)对图像中的每个像素。
2、目标检测:在目标检测中,我们将类标签分配给包含对象的包围框。
一个非常自然的想法是把两者结合起来。我们只想在一个对象周围识别一个包围框,并且找到包围框中的哪些像素属于对象。 换句话说,我们想要一个掩码,它指示(使用颜色或灰度值)哪些像
素属于同一对象。 产生上述掩码的一类算法称为实例分割算法。mask R-CNN就是这样一种算法。
实例分割和语义分割有两种不同
1、在语义分割中,每个像素都被分配一个类标签,而在实例分割中则不是这样。
2、在语义分割中,我们不区分同一类的实例。例如,语义分割中属于“Person”类的所有像素都将在掩码中分配相同的颜色/值。在实例分割中,它们被分配到不同的值,我们能够告诉它们哪个像素
对应于哪个人。 要了解更多关于图像分割的信息,请查看我们已经详细解释过的帖子。
Mask R-CNN结构结构
mask R-CNN的网络结构是我们以前讨论过的FasterR-CNN的扩展。
回想一下,faster R-CNN架构有以下组件
卷积层:输入图像经过几个卷积层来创建特征图。如果你是初学者,把卷积层看作一个黑匣子,它接收一个3通道的输入图像,并输出一个空间维数小得多(7×7),但通道非常多(512)的“图
像”。
区域提案网络(RPN)。卷积层的输出用于训练一个网络,该网络提取包围对象的区域。
分类器:同样的特征图也被用来训练一个分类器,该分类器将标签分配给框内的对象。
此外,回想一下,FasterR-CNN 比 Fast R-CNN更快,因为特征图被计算一次,并被RPN和分类器重用。 mask R-CNN将这个想法向前推进了一步。除了向RPN和分类器提供特征图外,mask R-
CNN还使用它来预测边界框内对象的二值掩码。 研究 MaskR-CNN的掩码预测部分的一种方法是,它是一个用于语义分割的完全卷积网络(FCN)。唯一的区别是在mask R-CNN里,FCN被应用
于边界框,而且它与RPN和分类器共享卷积层。 下图显示了一个非常高层次的架构。
2.在在PyTorch中使用中使用mask R-CNN[代码代码]
在本节中,我们将学习如何在PyTorch中使用预先训练的MaskR-CNN模型。
2.1.输入和输出输入和输出
mask R-CNN模型期望的输入是张量列表,每个张量的类型为(n,c,h,w),元素在0-1范围内。图像的大小随意。
n是图像的个数
c为通道数 RGB图像为3
h是图像的高度
w是图像的宽度
模型返回 :
包围框的坐标
模型预测的存在于输入图像中的类的标签以及对应标签的分数
标签中每个类的掩码。
2.2 预训练模型预训练模型
model = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True)
model.eval()
2.3 模型的预测模型的预测
COCO_INSTANCE_CATEGORY_NAMES = [
'__background__', 'person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus',
'train', 'truck', 'boat', 'traffic light', 'fire hydrant', 'N/A', 'stop sign',
'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
'elephant', 'bear', 'zebra', 'giraffe', 'N/A', 'backpack', 'umbrella', 'N/A', 'N/A',
'handbag', 'tie', 'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',
'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard', 'tennis racket',
'bottle', 'N/A', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl',
'banana', 'apple', 'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',
'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed', 'N/A', 'dining table',
'N/A', 'N/A', 'toilet', 'N/A', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'N/A', 'book',
'clock', 'vase', 'scissors', 'teddy bear', 'hair drier', 'toothbrush'
]
def get_prediction(img_path, threshold):
img = Image.open(img_path)
transform = T.Compose([T.ToTensor()])
img = transform(img)
pred = model([img])
print('pred')
评论0