objs.clear(); yolov8_pose->copy_from_Mat(image, size); auto start = std::chrono::system_clock::now(); yolov8_pose->infer(); auto end = std::chrono::system_clock::now(); yolov8_pose->postprocess(objs, score_thres, iou_thres, topk);

这段代码看起来是使用某个 YOLOv8 Pose 模型进行推理的代码片段。让我来解释一下每一行的作用：

- `objs.clear();`：清空之前保存的目标对象列表。
- `yolov8_pose->copy_from_Mat(image, size);`：将输入图像拷贝到 YOLOv8 Pose 模型的输入张量中。
- `auto start = std::chrono::system_clock::now();`：记录推理开始时间。
- `yolov8_pose->infer();`：执行模型推理，对输入图像进行目标检测和姿态估计。
- `auto end = std::chrono::system_clock::now();`：记录推理结束时间。
- `yolov8_pose->postprocess(objs, score_thres, iou_thres, topk);`：对推理结果进行后处理，得到符合阈值要求的目标对象列表。

这段代码的功能是使用 YOLOv8 Pose 模型对输入图像进行目标检测和姿态估计，并将符合阈值要求的目标对象保存在 `objs` 列表中。

相关问题

c++ 代码实现将下图代码的obj.seg渲染在image上,obj.seg是yolov8预测出来的mask图， cv::Mat image = cv::imread("inference/yq.jpg"); auto yolo = yolo::load("/home/zhangyu/tensorrt_code/test/1.18-integrate-full-yolov5/workspace/last.transd.trtmodel", yolo::Type::V8Seg); if (yolo == nullptr) return; auto objs = yolo->forward(cvimg(image)); int i = 0; for (auto &obj : objs) { uint8_t b, g, r; tie(b, g, r) = yolo::random_color(obj.class_label); cv::rectangle(image, cv::Point(obj.left, obj.top), cv::Point(obj.right, obj.bottom), cv::Scalar(b, g, r), 5); auto name = cocolabels[obj.class_label]; auto caption = cv::format("%s %.2f", name, obj.confidence); int width = cv::getTextSize(caption, 0, 1, 2, nullptr).width + 10; cv::rectangle(image, cv::Point(obj.left - 3, obj.top - 33), cv::Point(obj.left + width, obj.top), cv::Scalar(b, g, r), -1); cv::putText(image, caption, cv::Point(obj.left, obj.top - 5), 0, 1, cv::Scalar::all(0), 2, 16); if (obj.seg) { // cv::imwrite(cv::format("%d_mask.jpg", i), // cv::Mat(obj.seg->height, obj.seg->width, CV_8U, obj.seg->data)); i++; } } printf("Save result to Result.jpg, %d objects\n", (int)objs.size()); cv::imwrite("Result.jpg", image); }

要实现将 obj.seg 渲染在 image 上，可以按照以下步骤进行：

1. 将 obj.seg 转换成 cv::Mat 格式的图像，即将 obj.seg->data 拷贝到 cv::Mat 中，并设置其大小为 obj.seg->height 和 obj.seg->width。

2. 将 obj.seg 的像素值中为 1 的部分渲染成指定颜色的矩形框。

代码实现如下：

cv::Mat image = cv::imread("inference/yq.jpg");
auto yolo = yolo::load("/home/zhangyu/tensorrt_code/test/1.18-integrate-full-yolov5/workspace/last.transd.trtmodel", yolo::Type::V8Seg);
if (yolo == nullptr) return;
auto objs = yolo->forward(cvimg(image));
int i = 0;
for (auto &obj : objs) {
    uint8_t b, g, r;
    tie(b, g, r) = yolo::random_color(obj.class_label);
    cv::rectangle(image, cv::Point(obj.left, obj.top), cv::Point(obj.right, obj.bottom),
                  cv::Scalar(b, g, r), 5);
    auto name = cocolabels[obj.class_label];
    auto caption = cv::format("%s %.2f", name, obj.confidence);
    int width = cv::getTextSize(caption, 0, 1, 2, nullptr).width + 10;
    cv::rectangle(image, cv::Point(obj.left - 3, obj.top - 33),
                  cv::Point(obj.left + width, obj.top), cv::Scalar(b, g, r), -1);
    cv::putText(image, caption, cv::Point(obj.left, obj.top - 5), 0, 1, cv::Scalar::all(0), 2, 16);
    if (obj.seg) {
        cv::Mat seg_image(obj.seg->height, obj.seg->width, CV_8U, obj.seg->data);
        cv::Mat seg_color;
        cv::cvtColor(seg_image, seg_color, cv::COLOR_GRAY2BGR);
        cv::Vec3b color(b, g, r);
        seg_color.setTo(color, seg_image == 1);
        cv::Rect seg_rect(obj.left, obj.top, obj.right - obj.left, obj.bottom - obj.top);
        seg_color.copyTo(image(seg_rect));
        i++;
    }
}
printf("Save result to Result.jpg, %d objects\n", (int)objs.size());
cv::imwrite("Result.jpg", image);

其中，将 obj.seg 转换成 cv::Mat 格式的图像使用了以下代码：

cv::Mat seg_image(obj.seg->height, obj.seg->width, CV_8U, obj.seg->data);

将 obj.seg 的像素值中为 1 的部分渲染成指定颜色的矩形框使用了以下代码：

cv::Mat seg_color;
cv::cvtColor(seg_image, seg_color, cv::COLOR_GRAY2BGR);
cv::Vec3b color(b, g, r);
seg_color.setTo(color, seg_image == 1);
cv::Rect seg_rect(obj.left, obj.top, obj.right - obj.left, obj.bottom - obj.top);
seg_color.copyTo(image(seg_rect));

c++ 代码实现：下面说明obj.seg是yolov8预测出来的mask图，要求将obj.seg 上采样之后再渲染到原图上 cv::Mat image = cv::imread("inference/yq.jpg"); auto yolo = yolo::load("/home/zhangyu/tensorrt_code/test/1.18-integrate-full-yolov5/workspace/last.transd.trtmodel", yolo::Type::V8Seg); if (yolo == nullptr) return; auto objs = yolo->forward(cvimg(image)); int i = 0; for (auto &obj : objs) { uint8_t b, g, r; tie(b, g, r) = yolo::random_color(obj.class_label); cv::rectangle(image, cv::Point(obj.left, obj.top), cv::Point(obj.right, obj.bottom), cv::Scalar(b, g, r), 5); auto name = cocolabels[obj.class_label]; auto caption = cv::format("%s %.2f", name, obj.confidence); int width = cv::getTextSize(caption, 0, 1, 2, nullptr).width + 10; cv::rectangle(image, cv::Point(obj.left - 3, obj.top - 33), cv::Point(obj.left + width, obj.top), cv::Scalar(b, g, r), -1); cv::putText(image, caption, cv::Point(obj.left, obj.top - 5), 0, 1, cv::Scalar::all(0), 2, 16); if (obj.seg) { // cv::imwrite(cv::format("%d_mask.jpg", i), // cv::Mat(obj.seg->height, obj.seg->width, CV_8U, obj.seg->data)); i++; } } printf("Save result to Result.jpg, %d objects\n", (int)objs.size()); cv::imwrite("Result.jpg", image); }

可以使用cv::resize函数对obj.seg进行上采样，然后使用cv::addWeighted函数将上采样后的mask图与原图叠加在一起，实现渲染。代码如下：

cv::Mat image = cv::imread("inference/yq.jpg");
auto yolo = yolo::load("/home/zhangyu/tensorrt_code/test/1.18-integrate-full-yolov5/workspace/last.transd.trtmodel", yolo::Type::V8Seg);
if (yolo == nullptr) return;
auto objs = yolo->forward(cvimg(image));
int i = 0;
for (auto &obj : objs) {
    uint8_t b, g, r;
    tie(b, g, r) = yolo::random_color(obj.class_label);
    cv::rectangle(image, cv::Point(obj.left, obj.top), cv::Point(obj.right, obj.bottom),
                  cv::Scalar(b, g, r), 5);
    auto name = cocolabels[obj.class_label];
    auto caption = cv::format("%s %.2f", name, obj.confidence);
    int width = cv::getTextSize(caption, 0, 1, 2, nullptr).width + 10;
    cv::rectangle(image, cv::Point(obj.left - 3, obj.top - 33),
                  cv::Point(obj.left + width, obj.top), cv::Scalar(b, g, r), -1);
    cv::putText(image, caption, cv::Point(obj.left, obj.top - 5), 0, 1, cv::Scalar::all(0), 2, 16);

    if (obj.seg) {
        // 上采样
        cv::Mat seg(obj.seg->height, obj.seg->width, CV_8U, obj.seg->data);
        cv::resize(seg, seg, image.size(), cv::INTER_LINEAR);

        // 颜色映射
        cv::Mat color_map;
        cv::applyColorMap(seg, color_map, cv::COLORMAP_JET);

        // 叠加
        cv::addWeighted(color_map, 0.5, image, 0.5, 0, image);

        // cv::imwrite(cv::format("%d_mask.jpg", i),
        //             cv::Mat(obj.seg->height, obj.seg->width, CV_8U, obj.seg->data));
        i++;
    }
}

printf("Save result to Result.jpg, %d objects\n", (int)objs.size());
cv::imwrite("Result.jpg", image);