javacv+random实现鼠标移到图片的位置

在JavaCV中，我们可以使用OpenCV的Java接口来实现图像处理。要实现鼠标移动到图片的位置，我们需要完成以下步骤：

1. 使用JavaCV读取屏幕上的截图，并将其转换为OpenCV的Mat对象。
2. 在Mat对象中使用OpenCV的模板匹配函数找到要移动到的图片位置。
3. 使用Java的Random类随机生成鼠标移动的偏移量，并将其加到匹配位置上，得到最终的鼠标位置。
4. 使用Java的Robot类将鼠标移动到最终位置。

下面是一个示例代码，演示如何实现这个功能：

import java.awt.Robot;
import java.awt.event.InputEvent;
import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream;
import java.util.Random;

import javax.imageio.ImageIO;

import org.bytedeco.javacpp.opencv_core.Mat;
import org.bytedeco.javacpp.opencv_core.Rect;
import org.bytedeco.javacpp.opencv_core.Size;
import org.bytedeco.javacpp.opencv_imgcodecs;
import org.bytedeco.javacpp.opencv_imgproc;
import org.bytedeco.javacv.CanvasFrame;
import org.bytedeco.javacv.Java2DFrameConverter;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.javacv.FrameGrabber.Exception;

public class MouseMoveToImage {

    public static void main(String[] args) throws Exception, java.lang.Exception {
        // 创建Robot对象
        Robot robot = new Robot();

        // 设置截图位置和大小
        int x = 0, y = 0, width = 800, height = 600;

        // 创建FrameGrabber对象
        org.bytedeco.javacv.FrameGrabber grabber = org.bytedeco.javacv.Java2DFrameUtils.createScreenCaptureGrabber(
                new Rectangle(x, y, width, height));

        // 创建CanvasFrame对象
        CanvasFrame canvas = new CanvasFrame("Screen Capture");

        // 开启Grabber
        grabber.start();

        // 设置CanvasFrame的大小和位置
        canvas.setCanvasSize(width, height);
        canvas.setLocation(x, y);

        // 创建OpenCVFrameConverter对象和Java2DFrameConverter对象
        OpenCVFrameConverter.ToMat converterToMat = new OpenCVFrameConverter.ToMat();
        Java2DFrameConverter converterToImage = new Java2DFrameConverter();

        // 创建模板图片的Mat对象
        Mat template = opencv_imgcodecs.imread("template.png");

        // 创建模板图片的Size对象
        Size size = new Size(template.cols(), template.rows());

        // 循环读取屏幕截图
        while (canvas.isVisible()) {
            // 读取一帧图像
            BufferedImage image = converterToImage.convert(grabber.grab());

            // 将BufferedImage对象转换为Mat对象
            Mat mat = converterToMat.convertToMat(converterToImage.convert(image));

            // 创建结果Mat对象
            Mat result = new Mat();

            // 模板匹配
            opencv_imgproc.matchTemplate(mat, template, result, opencv_imgproc.TM_CCOEFF_NORMED);

            // 获取最大匹配位置
            double[] minValues = new double[2];
            double[] maxValues = new double[2];
            Point[] minLoc = new Point[2];
            Point[] maxLoc = new Point[2];
            opencv_core.minMaxLoc(result, minValues, maxValues, minLoc, maxLoc, null);

            // 计算最终鼠标位置
            int offsetX = new Random().nextInt(template.cols());
            int offsetY = new Random().nextInt(template.rows());
            int mouseX = maxLoc[0].x() + offsetX;
            int mouseY = maxLoc[0].y() + offsetY;

            // 将鼠标移动到最终位置
            robot.mouseMove(mouseX, mouseY);

            // 点击鼠标左键
            robot.mousePress(InputEvent.BUTTON1_MASK);
            robot.mouseRelease(InputEvent.BUTTON1_MASK);

            // 将匹配结果绘制到CanvasFrame上
            opencv_imgproc.rectangle(mat, maxLoc[0], new Point(maxLoc[0].x() + size.width(), maxLoc[0].y() + size.height()),
                    new Scalar(0, 255, 0, 0));
            canvas.showImage(converterToImage.convert(converterToMat.convert(mat)));
        }

        // 关闭Grabber
        grabber.stop();
    }
}

在这个示例中，我们使用了JavaCV的FrameGrabber类来读取屏幕上的截图，然后将其转换为OpenCV的Mat对象。接着，我们使用OpenCV的模板匹配函数找到要移动到的图片位置，并使用Java的Random类随机生成鼠标移动的偏移量。最后，我们使用Java的Robot类将鼠标移动到最终位置，并模拟鼠标左键单击操作。