用python编写一个使用mediapipe、opencv的程序, 它可以通过打开摄像头识别人的手部,并只有食指伸直的时候,食指的指尖会进行持续线条的绘画, 绘画的内容会被保留在屏幕上,左侧有持续显示的三种颜色按钮和清除按钮, 当食指和中指同时伸直时,如果食指放在某一个按钮上,那么可以切换绘画线条的颜色或者是变为擦除绘画内容, 总共有4种颜色可以被选择:黑色、红色、蓝色和黄色

时间: 2023-06-18 17:02:24 浏览: 116
好的,这个功能可以使用OpenCV和MediaPipe库来实现。我们需要使用MediaPipe的Hand Tracking模块来检测手的位置,然后使用OpenCV来进行绘图操作。以下是一个基本的实现: 首先,我们需要安装必要的库:mediapipe和opencv-python。 ```python !pip install mediapipe opencv-python ``` 然后,我们需要导入所需的库并初始化一些变量: ```python import cv2 import mediapipe as mp import numpy as np # 初始化手部检测器 mp_drawing = mp.solutions.drawing_utils mp_hands = mp.solutions.hands hands = mp_hands.Hands(max_num_hands=1, min_detection_confidence=0.5) # 定义绘画变量 draw_color = (0, 0, 0) draw_thickness = 5 drawing = False last_point = None # 创建一个空白画布 canvas = np.zeros((480, 640, 3), dtype=np.uint8) ``` 然后,我们需要编写一个函数,该函数将手部检测结果作为输入,并返回一个布尔值,该值指示食指是否伸直: ```python def is_index_finger_extended(hand_landmarks): index_finger = hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP] thumb = hand_landmarks.landmark[mp_hands.HandLandmark.THUMB_TIP] return index_finger.y < thumb.y ``` 接下来,我们需要编写一个函数,该函数将手部检测结果作为输入,并返回一个整数,该值表示食指在哪个按钮上: ```python def get_button_index(hand_landmarks): index_finger = hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP] buttons = [ ((20, 20), (100, 100), (0, 0, 0)), # 黑色 ((20, 140), (100, 220), (0, 0, 255)), # 红色 ((20, 260), (100, 340), (255, 0, 0)), # 蓝色 ((20, 380), (100, 460), (0, 255, 255)), # 黄色 ] for i, (tl, br, _) in enumerate(buttons): if tl[0] <= index_finger.x * 640 <= br[0] and tl[1] <= index_finger.y * 480 <= br[1]: return i return -1 ``` 这个函数将手指的位置与按钮位置进行比较,并返回相应的按钮索引。如果食指不在任何按钮上,则返回-1。 接下来,我们需要编写一个无限循环,该循环将读取摄像头帧,并进行手部检测和绘画操作: ```python cap = cv2.VideoCapture(0) while True: # 读取帧 ret, frame = cap.read() if not ret: break # 翻转帧并调整大小 frame = cv2.flip(frame, 1) frame = cv2.resize(frame, (640, 480)) # 将帧转换为RGB格式并进行手部检测 frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = hands.process(frame_rgb) # 如果检测到手,则进行绘画操作 if results.multi_hand_landmarks: # 获取手部关键点 hand_landmarks = results.multi_hand_landmarks[0] # 检查食指是否伸直 index_finger_extended = is_index_finger_extended(hand_landmarks) # 检查食指是否在按钮上 button_index = get_button_index(hand_landmarks) # 如果食指伸直,则进行绘画 if index_finger_extended: # 记录上一个点的位置 if last_point is None: last_point = (int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * 640), int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * 480)) else: # 绘制线条 cv2.line(canvas, last_point, (int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * 640), int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * 480)), draw_color, draw_thickness) last_point = (int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * 640), int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * 480)) else: # 重置上一个点的位置 last_point = None # 如果食指和中指同时伸直并且在按钮上,则更改颜色或清空画布 if not index_finger_extended and \ hand_landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].y < hand_landmarks.landmark[ mp_hands.HandLandmark.INDEX_FINGER_TIP].y and \ button_index != -1: if button_index == 0: # 黑色 draw_color = (0, 0, 0) elif button_index == 1: # 红色 draw_color = (0, 0, 255) elif button_index == 2: # 蓝色 draw_color = (255, 0, 0) elif button_index == 3: # 黄色 draw_color = (0, 255, 255) else: # 清空画布 canvas = np.zeros((480, 640, 3), dtype=np.uint8) else: # 重置上一个点的位置 last_point = None # 将画布和按钮绘制到帧上 frame = cv2.rectangle(frame, (20, 20), (100, 100), (0, 0, 0), -1) frame = cv2.rectangle(frame, (20, 140), (100, 220), (0, 0, 255), -1) frame = cv2.rectangle(frame, (20, 260), (100, 340), (255, 0, 0), -1) frame = cv2.rectangle(frame, (20, 380), (100, 460), (0, 255, 255), -1) frame = cv2.putText(frame, "Clear", (25, 430), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Black", (25, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Red", (25, 180), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Blue", (25, 300), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Yellow", (25, 420), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Hand Drawing with Color Selection and Clearing", (10, 20), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "By @YijunLiu", (10, 470), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Press 'q' to Quit", (450, 470), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Drawing with Color: " + str(draw_color), (150, 470), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frame = np.hstack((frame, canvas)) # 显示帧 cv2.imshow("Hand Tracking and Drawing", frame) # 按下 'q' 键退出循环 if cv2.waitKey(1) & 0xFF == ord('q'): break # 释放摄像头和窗口 cap.release() cv2.destroyAllWindows() ``` 在这段代码中,我们首先读取摄像头帧,并将其调整大小和翻转。然后,我们将帧转换为RGB格式,并使用MediaPipe Hand Tracking模块进行手部检测。如果检测到手,则进行绘画操作。 在绘画操作中,我们首先检查食指是否伸直,如果是,则将当前位置连接到上一个位置,并更新上一个位置。如果食指不伸直,则重置上一个位置。 接下来,我们检查食指和中指是否同时伸直,并且是否在按钮上。如果是,则更改绘画颜色或清空画布。最后,我们将画布和按钮绘制到帧上,并将其显示在窗口中。 如果按下 'q' 键,则退出循环并释放摄像头和窗口。 完整代码如下:
阅读全文

相关推荐

大家在看

recommend-type

CT取电电源技术

各种电流互感器取电电路,非常详细 高压线取电 各种电流互感器取电电路,非常详细 高压线取电
recommend-type

递推最小二乘辨识

递推最小二乘算法 递推辨识算法的思想可以概括成 新的参数估计值=旧的参数估计值+修正项 即新的递推参数估计值是在旧的递推估计值 的基础上修正而成,这就是递推的概念.
recommend-type

基于springboot的智慧食堂系统源码.zip

源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经过本地编译可运行的,下载完成之后配置相应环境即可使用。源码功能都是经过老师肯定的,都能满足要求,有需要放心下载即可。源码是经
recommend-type

WebBrowser脚本错误的完美解决方案

当IE浏览器遇到脚本错误时浏览器,左下角会出现一个黄色图标,点击可以查看脚本错误的详细信息,并不会有弹出的错误信息框。当我们使用WebBrowser控件时有错误信息框弹出,这样程序显的很不友好,而且会让一些自动执行的程序暂停。我看到有人采取的解决方案是做一个窗体杀手程序来关闭弹出的窗体。本文探讨的方法是从控件解决问题。
recommend-type

GMW14241-中文翻译

通用汽车局域网高速,中速,低速CAN总线节点的通用汽车局域网设备测试规范

最新推荐

recommend-type

Python OpenCV模块通过调用摄像头并截图保存功能的实现代码

这段代码会打开摄像头,实时显示摄像头的画面,当用户按下'q'键时,程序会结束并释放摄像头资源。 【截图保存功能】 要实现截图功能,只需要在循环中加入截图保存的代码。当按下'q'键时,使用`cv2.imwrite()`函数...
recommend-type

Python+OpenCV采集本地摄像头的视频

接着,定义了一个名为`getCam`的函数,该函数的主要工作是打开摄像头、捕获帧并显示图像。在这个过程中,首先创建一个名为`window_name`的窗口,窗口大小可以通过`cv2.WINDOW_NORMAL`进行设置。然后,使用`cv2....
recommend-type

Python OpenCV调用摄像头检测人脸并截图

在本文中,我们将深入探讨如何使用Python的OpenCV库来调用摄像头并检测人脸,同时实现自动截图功能。OpenCV(Open Source Computer Vision Library)是一个强大的计算机视觉库,提供了多种图像处理和计算机视觉功能...
recommend-type

Python OpenCV 调用摄像头并截图保存功能的实现代码

在Python编程中,OpenCV库是一个强大的图像处理和计算机视觉库,它广泛应用于图像分析、视频处理等领域。本篇文章将详细介绍如何使用OpenCV调用摄像头并实现截图保存功能。 首先,要使用OpenCV,你需要确保已经正确...
recommend-type

python opencv设置摄像头分辨率以及各个参数的方法

使用`cap.read()`方法读取摄像头的一帧数据,它返回一个布尔值。如果读取成功,返回`True`,表示帧有效。可以用来判断是否到达视频末尾或捕获错误: ```python ret, frame = cap.read() if not ret: print("End...
recommend-type

前端开发利器:autils前端工具库特性与使用

资源摘要信息:"autils:很棒的前端utils库" autils是一个专门为前端开发者设计的实用工具类库。它小巧而功能强大,由TypeScript编写而成,确保了良好的类型友好性。这个库的起源是日常项目中的积累,因此它的实用性得到了验证和保障。此外,autils还通过Jest进行了严格的测试,保证了代码的稳定性和可靠性。它还支持按需加载,这意味着开发者可以根据需要导入特定的模块,以优化项目的体积和加载速度。 知识点详细说明: 1. 前端工具类库的重要性: 在前端开发中,工具类库提供了许多常用的函数和类,帮助开发者处理常见的编程任务。这类库通常是为了提高代码复用性、降低开发难度以及加快开发速度而设计的。 2. TypeScript的优势: TypeScript是JavaScript的一个超集,它在JavaScript的基础上添加了类型系统和对ES6+的支持。使用TypeScript编写代码可以提高代码的可读性和维护性,并且可以提前发现错误,减少运行时错误的发生。 3. 实用性与日常项目的关联: 一个工具库的实用性强不强,往往与其是否源自实际项目经验有关。从实际项目中抽象出来的工具类库往往更加贴合实际开发需求,因为它们解决的是开发者在实际工作中经常遇到的问题。 4. 严格的测试与代码质量: Jest是一个流行的JavaScript测试框架,它用于测试JavaScript代码。通过Jest对autils进行严格的测试,不仅可以验证功能的正确性,还可以保证库的稳定性和可靠性,这对于用户而言是非常重要的。 5. 按需加载与项目优化: 按需加载是现代前端开发中提高性能的重要手段之一。通过只加载用户实际需要的代码,可以显著减少页面加载时间并改善用户体验。babel-plugin-import是一个可以实现按需导入ES6模块的插件,配合autils使用可以使得项目的体积更小,加载更快。 6. 安装和使用: autils可以通过npm或yarn进行安装。npm是Node.js的包管理器,yarn是一个快速、可靠、安全的依赖管理工具。推荐使用yarn进行安装是因为它在处理依赖方面更为高效。安装完成后,开发者可以在项目中引入并使用autils提供的各种工具函数。 7. 工具类和工具函数: autils包含有多个工具类和工具函数,这些工具类和函数可以帮助开发者解决包括但不限于数据转换、权限验证以及浮点数精度问题等前端开发中的常见问题。例如,工具类可能提供了中文阿拉伯数字和中文数字互转的功能,这对于需要支持中文数字显示的前端应用尤为重要。 8. 前端开发的其它知识点: - 使用TypeScript可以利用其提供的强类型检查机制,减少运行时错误。 - 实际项目中积累的工具库往往更加实用,因为它解决了实际问题。 - 通过单元测试来保证工具库的稳定性和可靠性。 - 按需加载和代码分割可以帮助减小应用体积,加快首屏加载速度。 - npm和yarn的使用,以及如何在项目中正确安装和配置依赖。 通过上述知识点的介绍,我们可以清晰地了解到autils这个前端工具类库的特点、优势以及如何在实际项目中应用它来解决开发中遇到的常见问题。这个库可以极大地提高前端开发的效率,并优化最终产品的性能。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

电力系统自动化潮流分析:PSD-BPA与自动化系统的无缝集成

![PSD-BPA潮流分析](https://media.geeksforgeeks.org/wp-content/uploads/20230214000949/Brownian-Movement.png) # 摘要 随着电力系统技术的快速发展,电力系统自动化潮流分析在提高电网运行效率和可靠性方面扮演着重要角色。本文综述了PSD-BPA软件的基础理论及其在电力系统自动化中的应用,探讨了自动化系统在电力系统中的关键作用,以及PSD-BPA与自动化系统集成的技术要点。通过案例分析,本文展示了自动化系统在潮流分析中的应用,并对集成技术和未来发展趋势进行了深入的讨论。文章最终提出了未来电力系统自动化
recommend-type

android 获取本地mac地址

在Android应用程序中获取设备的本地MAC地址通常需要权限,并且不是直接暴露给应用供开发者使用的API。这是因为出于安全考虑,MAC地址被视为敏感信息,不应轻易提供给所有应用。 但是,如果你的应用获得了`ACCESS_WIFI_STATE`和`ACCESS_FINE_LOCATION`这两个权限(在Android 6.0 (API level 23)及以后版本,你需要单独申请`ACCESS_COARSE_LOCATION`权限),你可以通过WiFiInfo对象间接获取到MAC地址,因为这个对象包含了与Wi-Fi相关的网络信息,包括MAC地址。以下是大致步骤: ```java impor
recommend-type

小米手机抢购脚本教程与源码分享

资源摘要信息:"抢购小米手机脚本介绍" 知识点一:小米手机 小米手机是由小米科技有限责任公司生产的一款智能手机,以其高性价比著称,拥有众多忠实的用户群体。在新品发售时,由于用户抢购热情高涨,时常会出现供不应求的情况,因此,抢购脚本应运而生。 知识点二:抢购脚本 抢购脚本是一种自动化脚本,旨在帮助用户在商品开售瞬间自动完成一系列快速点击和操作,以提高抢购成功的几率。此脚本基于Puppeteer.js实现,Puppeteer是一个Node库,它提供了一套高级API来通过DevTools协议控制Chrome或Chromium。使用该脚本可以让用户更快地操作浏览器进行抢购。 知识点三:Puppeteer.js Puppeteer.js是Node.js的一个库,提供了一系列API,可以用来模拟自动化控制Chrome或Chromium浏览器的行为。Puppeteer可以用于页面截图、表单自动提交、页面爬取、PDF生成等多种场景。由于其强大的功能,Puppeteer成为开发抢购脚本的热门选择之一。 知识点四:脚本安装与使用 此抢购脚本的使用方法很简单。首先需要在本地环境中通过命令行工具安装必要的依赖,通常使用yarn命令进行包管理。安装完成后,即可通过node命令运行buy.js脚本文件来启动抢购流程。 知识点五:抢购规则的优化 脚本中定义了一个购买规则数组,这个数组定义了抢购的优先级。数组中的对象代表不同的购买配置,每个对象包含GB和color属性。GB属性中的type和index分别表示小米手机内存和存储的组合类型,以及在选购页面上的具体选项位置。color属性则代表颜色的选择。根据这个规则数组,脚本会按照配置好的顺序进行抢购尝试。 知识点六:命令行工具Yarn Yarn是一个快速、可靠和安全的依赖管理工具。它与npm类似,是一种包管理器,允许用户将JavaScript代码模块打包到应用程序中。Yarn在处理依赖安装时更加快速和高效,并提供了一些npm没有的功能,比如离线模式和更好的锁文件控制。 知识点七:Node.js Node.js是一个基于Chrome V8引擎的JavaScript运行环境。它使用事件驱动、非阻塞I/O模型,使其轻量又高效,非常适合在分布式设备上运行数据密集型的实时应用程序。Node.js在服务器端编程领域得到了广泛的应用,可以用于开发后端API服务、网络应用、微服务等。 知识点八:脚本的文件结构 根据提供的文件名称列表,这个脚本项目的主文件名为"buy-xiaomi-main"。通常,这个主文件会包含执行脚本逻辑的主要代码,例如页面导航、事件监听、输入操作等。其他可能会有的文件包括配置文件、依赖文件、日志文件等,以保持项目的结构清晰和模块化。 总结而言,这个抢购小米手机的脚本利用了Puppeteer.js强大的自动化能力,通过Node.js环境进行运行。脚本详细定义了抢购的优先级规则,允许用户通过简单的命令行操作,实现快速自动化的抢购过程。而Yarn则帮助用户更高效地安装和管理项目依赖。这为需要参与小米手机抢购的用户提供了一个技术性的解决方案。