ros 实现yolov5实例分割 代码

以下是使用ROS和YOLOv5实现实例分割的代码示例：

#!/usr/bin/env python

import rospy
from sensor_msgs.msg import Image
from cv_bridge import CvBridge
import cv2
from yolov5.models.experimental import attempt_load
from yolov5.utils.general import non_max_suppression, scale_coords
from yolov5.utils.torch_utils import select_device
from mask_rcnn_ros.msg import MaskRCNNResult, MaskRCNNObject


class YOLOv5Node:

    def __init__(self):
        # Load YOLOv5 model
        self.device = select_device('')
        self.model = attempt_load('yolov5s.pt', map_location=self.device)
        self.names = self.model.module.names if hasattr(self.model, 'module') else self.model.names
        self.colors = [[0, 255, 0]]

        # Set up ROS node
        rospy.init_node('yolov5_node')
        self.bridge = CvBridge()
        self.image_sub = rospy.Subscriber('/camera/image_raw', Image, self.image_callback)
        self.mask_rcnn_pub = rospy.Publisher('/mask_rcnn/result', MaskRCNNResult, queue_size=1)

    def image_callback(self, data):
        # Convert ROS image message to OpenCV image
        cv_image = self.bridge.imgmsg_to_cv2(data, 'bgr8')

        # Run YOLOv5 inference on image
        img = self.model.preprocess(cv_image)
        img = img.to(self.device)
        pred = self.model(img, augment=False)[0]
        pred = non_max_suppression(pred, conf_thres=0.25, iou_thres=0.45, agnostic=False)

        # Create MaskRCNNResult message
        mask_rcnn_result = MaskRCNNResult()
        mask_rcnn_result.header = data.header

        # Add MaskRCNNObject messages for each detected object
        for i, det in enumerate(pred):
            if len(det):
                det[:, :4] = scale_coords(img.shape[2:], det[:, :4], cv_image.shape).round()
                for *xyxy, conf, cls in reversed(det):
                    label = self.names[int(cls)]
                    color = self.colors[int(cls) % len(self.colors)]
                    cv2.rectangle(cv_image, (int(xyxy[0]), int(xyxy[1])), (int(xyxy[2]), int(xyxy[3])), color, thickness=2)

                    # Create MaskRCNNObject message
                    mask_rcnn_obj = MaskRCNNObject()
                    mask_rcnn_obj.class_name = label
                    mask_rcnn_obj.score = conf
                    mask_rcnn_obj.roi.x_offset = int(xyxy[0])
                    mask_rcnn_obj.roi.y_offset = int(xyxy[1])
                    mask_rcnn_obj.roi.width = int(xyxy[2] - xyxy[0])
                    mask_rcnn_obj.roi.height = int(xyxy[3] - xyxy[1])
                    mask_rcnn_result.objects.append(mask_rcnn_obj)

        # Convert OpenCV image to ROS image message and publish
        image_msg = self.bridge.cv2_to_imgmsg(cv_image, 'bgr8')
        self.mask_rcnn_pub.publish(mask_rcnn_result)


if __name__ == '__main__':
    try:
        node = YOLOv5Node()
        rospy.spin()
    except rospy.ROSInterruptException:
        pass

在这个示例中，我们创建了一个名为`YOLOv5Node`的ROS节点，并在其中实现了YOLOv5模型的实例分割。我们还创建了一个名为`MaskRCNNResult`的自定义ROS消息类型，用于存储实例分割的结果。

在`__init__`方法中，YOLOv5模型被加载并初始化ROS节点。`image_callback`方法会在每次接收到ROS图像消息时被调用，并使用YOLOv5进行实例分割和边框绘制。然后，我们使用`MaskRCNNResult`消息类型来存储实例分割的结果，并将其发布到`/mask_rcnn/result`话题。

在使用此代码之前，需要先创建一个名为`mask_rcnn_ros`的ROS软件包，并在其中创建一个名为`msg`的文件夹。在`msg`文件夹中创建一个名为`MaskRCNNResult.msg`的文件，并添加以下内容：

Header header
mask_rcnn_ros/MaskRCNNObject[] objects

接下来，需要生成消息类型。在终端中，进入ROS软件包的根目录并运行以下命令：

catkin_make

现在，可以使用以下命令启动ROS节点：

rosrun <your_package_name> yolov5_node.py

最后，可以使用ROS的`rqt_image_view`节点来可视化实例分割的结果。在终端中运行以下命令：

rosrun rqt_image_view rqt_image_view

在`rqt_image_view`的界面中，将输入话题设置为`/camera/image_raw`，输出话题设置为`/mask_rcnn/result`。现在，应该可以看到实例分割和边框绘制后的图像了。