用python编写一个使用mediapipe、opencv的程序, 它可以通过打开摄像头识别人的手部,并只有食指伸直的时候,食指的指尖会进行持续线条的绘画, 绘画的内容会被保留在屏幕上,左侧有持续显示的三种颜色按钮和清除按钮, 当食指和中指同时伸直时,如果食指放在某一个按钮上,那么可以切换绘画线条的颜色或者是变为擦除绘画内容, 总共有4种颜色可以被选择:黑色、红色、蓝色和黄色

时间: 2023-06-18 11:02:24 浏览: 112
ZIP

基于python mediapipe opencv 的手势识别、手指计数、 完整代码+测试数据 计算机毕设 可直接运行

star5星 · 资源好评率100%
好的,这个功能可以使用OpenCV和MediaPipe库来实现。我们需要使用MediaPipe的Hand Tracking模块来检测手的位置,然后使用OpenCV来进行绘图操作。以下是一个基本的实现: 首先,我们需要安装必要的库:mediapipe和opencv-python。 ```python !pip install mediapipe opencv-python ``` 然后,我们需要导入所需的库并初始化一些变量: ```python import cv2 import mediapipe as mp import numpy as np # 初始化手部检测器 mp_drawing = mp.solutions.drawing_utils mp_hands = mp.solutions.hands hands = mp_hands.Hands(max_num_hands=1, min_detection_confidence=0.5) # 定义绘画变量 draw_color = (0, 0, 0) draw_thickness = 5 drawing = False last_point = None # 创建一个空白画布 canvas = np.zeros((480, 640, 3), dtype=np.uint8) ``` 然后,我们需要编写一个函数,该函数将手部检测结果作为输入,并返回一个布尔值,该值指示食指是否伸直: ```python def is_index_finger_extended(hand_landmarks): index_finger = hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP] thumb = hand_landmarks.landmark[mp_hands.HandLandmark.THUMB_TIP] return index_finger.y < thumb.y ``` 接下来,我们需要编写一个函数,该函数将手部检测结果作为输入,并返回一个整数,该值表示食指在哪个按钮上: ```python def get_button_index(hand_landmarks): index_finger = hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP] buttons = [ ((20, 20), (100, 100), (0, 0, 0)), # 黑色 ((20, 140), (100, 220), (0, 0, 255)), # 红色 ((20, 260), (100, 340), (255, 0, 0)), # 蓝色 ((20, 380), (100, 460), (0, 255, 255)), # 黄色 ] for i, (tl, br, _) in enumerate(buttons): if tl[0] <= index_finger.x * 640 <= br[0] and tl[1] <= index_finger.y * 480 <= br[1]: return i return -1 ``` 这个函数将手指的位置与按钮位置进行比较,并返回相应的按钮索引。如果食指不在任何按钮上,则返回-1。 接下来,我们需要编写一个无限循环,该循环将读取摄像头帧,并进行手部检测和绘画操作: ```python cap = cv2.VideoCapture(0) while True: # 读取帧 ret, frame = cap.read() if not ret: break # 翻转帧并调整大小 frame = cv2.flip(frame, 1) frame = cv2.resize(frame, (640, 480)) # 将帧转换为RGB格式并进行手部检测 frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = hands.process(frame_rgb) # 如果检测到手,则进行绘画操作 if results.multi_hand_landmarks: # 获取手部关键点 hand_landmarks = results.multi_hand_landmarks[0] # 检查食指是否伸直 index_finger_extended = is_index_finger_extended(hand_landmarks) # 检查食指是否在按钮上 button_index = get_button_index(hand_landmarks) # 如果食指伸直,则进行绘画 if index_finger_extended: # 记录上一个点的位置 if last_point is None: last_point = (int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * 640), int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * 480)) else: # 绘制线条 cv2.line(canvas, last_point, (int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * 640), int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * 480)), draw_color, draw_thickness) last_point = (int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x * 640), int(hand_landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y * 480)) else: # 重置上一个点的位置 last_point = None # 如果食指和中指同时伸直并且在按钮上,则更改颜色或清空画布 if not index_finger_extended and \ hand_landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].y < hand_landmarks.landmark[ mp_hands.HandLandmark.INDEX_FINGER_TIP].y and \ button_index != -1: if button_index == 0: # 黑色 draw_color = (0, 0, 0) elif button_index == 1: # 红色 draw_color = (0, 0, 255) elif button_index == 2: # 蓝色 draw_color = (255, 0, 0) elif button_index == 3: # 黄色 draw_color = (0, 255, 255) else: # 清空画布 canvas = np.zeros((480, 640, 3), dtype=np.uint8) else: # 重置上一个点的位置 last_point = None # 将画布和按钮绘制到帧上 frame = cv2.rectangle(frame, (20, 20), (100, 100), (0, 0, 0), -1) frame = cv2.rectangle(frame, (20, 140), (100, 220), (0, 0, 255), -1) frame = cv2.rectangle(frame, (20, 260), (100, 340), (255, 0, 0), -1) frame = cv2.rectangle(frame, (20, 380), (100, 460), (0, 255, 255), -1) frame = cv2.putText(frame, "Clear", (25, 430), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Black", (25, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Red", (25, 180), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Blue", (25, 300), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Yellow", (25, 420), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Hand Drawing with Color Selection and Clearing", (10, 20), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "By @YijunLiu", (10, 470), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Press 'q' to Quit", (450, 470), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.putText(frame, "Drawing with Color: " + str(draw_color), (150, 470), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) frame = np.hstack((frame, canvas)) # 显示帧 cv2.imshow("Hand Tracking and Drawing", frame) # 按下 'q' 键退出循环 if cv2.waitKey(1) & 0xFF == ord('q'): break # 释放摄像头和窗口 cap.release() cv2.destroyAllWindows() ``` 在这段代码中,我们首先读取摄像头帧,并将其调整大小和翻转。然后,我们将帧转换为RGB格式,并使用MediaPipe Hand Tracking模块进行手部检测。如果检测到手,则进行绘画操作。 在绘画操作中,我们首先检查食指是否伸直,如果是,则将当前位置连接到上一个位置,并更新上一个位置。如果食指不伸直,则重置上一个位置。 接下来,我们检查食指和中指是否同时伸直,并且是否在按钮上。如果是,则更改绘画颜色或清空画布。最后,我们将画布和按钮绘制到帧上,并将其显示在窗口中。 如果按下 'q' 键,则退出循环并释放摄像头和窗口。 完整代码如下:
阅读全文

相关推荐

最新推荐

recommend-type

Python OpenCV模块通过调用摄像头并截图保存功能的实现代码

这段代码会打开摄像头,实时显示摄像头的画面,当用户按下'q'键时,程序会结束并释放摄像头资源。 【截图保存功能】 要实现截图功能,只需要在循环中加入截图保存的代码。当按下'q'键时,使用`cv2.imwrite()`函数...
recommend-type

Python+OpenCV采集本地摄像头的视频

接着,定义了一个名为`getCam`的函数,该函数的主要工作是打开摄像头、捕获帧并显示图像。在这个过程中,首先创建一个名为`window_name`的窗口,窗口大小可以通过`cv2.WINDOW_NORMAL`进行设置。然后,使用`cv2....
recommend-type

Python OpenCV调用摄像头检测人脸并截图

在本文中,我们将深入探讨如何使用Python的OpenCV库来调用摄像头并检测人脸,同时实现自动截图功能。OpenCV(Open Source Computer Vision Library)是一个强大的计算机视觉库,提供了多种图像处理和计算机视觉功能...
recommend-type

Python OpenCV 调用摄像头并截图保存功能的实现代码

在Python编程中,OpenCV库是一个强大的图像处理和计算机视觉库,它广泛应用于图像分析、视频处理等领域。本篇文章将详细介绍如何使用OpenCV调用摄像头并实现截图保存功能。 首先,要使用OpenCV,你需要确保已经正确...
recommend-type

python opencv设置摄像头分辨率以及各个参数的方法

使用`cap.read()`方法读取摄像头的一帧数据,它返回一个布尔值。如果读取成功,返回`True`,表示帧有效。可以用来判断是否到达视频末尾或捕获错误: ```python ret, frame = cap.read() if not ret: print("End...
recommend-type

BottleJS快速入门:演示JavaScript依赖注入优势

资源摘要信息:"BottleJS是一个轻量级的依赖项注入容器,用于JavaScript项目中,旨在减少导入依赖文件的数量并优化代码结构。该项目展示BottleJS在前后端的应用,并通过REST API演示其功能。" BottleJS Playgound 概述: BottleJS Playgound 是一个旨在演示如何在JavaScript项目中应用BottleJS的项目。BottleJS被描述为JavaScript世界中的Autofac,它是依赖项注入(DI)容器的一种实现,用于管理对象的创建和生命周期。 依赖项注入(DI)的基本概念: 依赖项注入是一种设计模式,允许将对象的依赖关系从其创建和维护的代码中分离出来。通过这种方式,对象不会直接负责创建或查找其依赖项,而是由外部容器(如BottleJS)来提供这些依赖项。这样做的好处是降低了模块间的耦合,提高了代码的可测试性和可维护性。 BottleJS 的主要特点: - 轻量级:BottleJS的设计目标是尽可能简洁,不引入不必要的复杂性。 - 易于使用:通过定义服务和依赖关系,BottleJS使得开发者能够轻松地管理大型项目中的依赖关系。 - 适合前后端:虽然BottleJS最初可能是为前端设计的,但它也适用于后端JavaScript项目,如Node.js应用程序。 项目结构说明: 该仓库的src目录下包含两个子目录:sans-bottle和bottle。 - sans-bottle目录展示了传统的方式,即直接导入依赖并手动协调各个部分之间的依赖关系。 - bottle目录则使用了BottleJS来管理依赖关系,其中bottle.js文件负责定义服务和依赖关系,为项目提供一个集中的依赖关系源。 REST API 端点演示: 为了演示BottleJS的功能,该项目实现了几个简单的REST API端点。 - GET /users:获取用户列表。 - GET /users/{id}:通过给定的ID(范围0-11)获取特定用户信息。 主要区别在用户路由文件: 该演示的亮点在于用户路由文件中,通过BottleJS实现依赖关系的注入,我们可以看到代码的组织和结构比传统方式更加清晰和简洁。 BottleJS 和其他依赖项注入容器的比较: - BottleJS相比其他依赖项注入容器如InversifyJS等,可能更轻量级,专注于提供基础的依赖项管理和注入功能。 - 它的设计更加直接,易于理解和使用,尤其适合小型至中型的项目。 - 对于需要高度解耦和模块化的大规模应用,可能需要考虑BottleJS以外的解决方案,以提供更多的功能和灵活性。 在JavaScript项目中应用依赖项注入的优势: - 可维护性:通过集中管理依赖关系,可以更容易地理解和修改应用的结构。 - 可测试性:依赖项的注入使得创建用于测试的mock依赖关系变得简单,从而方便单元测试的编写。 - 模块化:依赖项注入鼓励了更好的模块化实践,因为模块不需关心依赖的来源,只需负责实现其定义的接口。 - 解耦:模块之间的依赖关系被清晰地定义和管理,减少了直接耦合。 总结: BottleJS Playgound 项目提供了一个生动的案例,说明了如何在JavaScript项目中利用依赖项注入模式改善代码质量。通过该项目,开发者可以更深入地了解BottleJS的工作原理,以及如何将这一工具应用于自己的项目中,从而提高代码的可维护性、可测试性和模块化程度。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

【版本控制】:R语言项目中Git与GitHub的高效应用

![【版本控制】:R语言项目中Git与GitHub的高效应用](https://opengraph.githubassets.com/2abf032294b9f2a415ddea58f5fde6fcb018b57c719dfc371bf792c251943984/isaacs/github/issues/37) # 1. 版本控制与R语言的融合 在信息技术飞速发展的今天,版本控制已成为软件开发和数据分析中不可或缺的环节。特别是对于数据科学的主流语言R语言,版本控制不仅帮助我们追踪数据处理的历史,还加强了代码共享与协作开发的效率。R语言与版本控制系统的融合,特别是与Git的结合使用,为R语言项
recommend-type

RT-DETR如何实现在实时目标检测中既保持精度又降低计算成本?请提供其技术实现的详细说明。

为了理解RT-DETR如何在实时目标检测中保持精度并降低计算成本,我们必须深入研究其架构优化和技术细节。RT-DETR通过融合CNN与Transformer的优势,提出了一种混合编码器结构,这种结构采用了尺度内交互(AIFI)和跨尺度融合(CCFM)策略来提取和融合多尺度图像特征,这些特征能够提供丰富的视觉上下文信息,从而提升了模型的检测精度。 参考资源链接:[RT-DETR:实时目标检测中的新胜者](https://wenku.csdn.net/doc/1ehyj4a8z2?spm=1055.2569.3001.10343) 在编码器阶段,RT-DETR使用主干网络提取图像特征,然后通过
recommend-type

vConsole插件使用教程:输出与复制日志文件

资源摘要信息:"vconsole-outputlog-plugin是一个JavaScript插件,它能够在vConsole环境中输出日志文件,并且支持将日志复制到剪贴板或下载。vConsole是一个轻量级、可扩展的前端控制台,通常用于移动端网页的调试。该插件的安装依赖于npm,即Node.js的包管理工具。安装完成后,通过引入vConsole和vConsoleOutputLogsPlugin来初始化插件,之后即可通过vConsole输出的console打印信息进行日志的复制或下载操作。这在进行移动端调试时特别有用,可以帮助开发者快速获取和分享调试信息。" 知识点详细说明: 1. vConsole环境: vConsole是一个专为移动设备设计的前端调试工具。它模拟了桌面浏览器的控制台,并添加了网络请求、元素选择、存储查看等功能。vConsole可以独立于原生控制台使用,提供了一个更为便捷的方式来监控和调试Web页面。 2. 日志输出插件: vconsole-outputlog-plugin是一个扩展插件,它增强了vConsole的功能,使得开发者不仅能够在vConsole中查看日志,还能将这些日志方便地输出、复制和下载。这样的功能在移动设备上尤为有用,因为移动设备的控制台通常不易于使用。 3. npm安装: npm(Node Package Manager)是Node.js的包管理器,它允许用户下载、安装、管理各种Node.js的包或库。通过npm可以轻松地安装vconsole-outputlog-plugin插件,只需在命令行执行`npm install vconsole-outputlog-plugin`即可。 4. 插件引入和使用: - 首先创建一个vConsole实例对象。 - 然后创建vConsoleOutputLogsPlugin对象,它需要一个vConsole实例作为参数。 - 使用vConsole对象的实例,就可以在其中执行console命令,将日志信息输出到vConsole中。 - 插件随后能够捕获这些日志信息,并提供复制到剪贴板或下载的功能。 5. 日志操作: - 复制到剪贴板:在vConsole界面中,通常会有“复制”按钮,点击即可将日志信息复制到剪贴板,开发者可以粘贴到其他地方进行进一步分析或分享。 - 下载日志文件:在某些情况下,可能需要将日志信息保存为文件,以便离线查看或作为报告的一部分。vconsole-outputlog-plugin提供了将日志保存为文件并下载的功能。 6. JavaScript标签: 该插件是使用JavaScript编写的,因此它与JavaScript紧密相关。JavaScript是一种脚本语言,广泛用于网页的交互式内容开发。此插件的开发和使用都需要一定的JavaScript知识,包括对ES6(ECMAScript 2015)版本规范的理解和应用。 7. 压缩包子文件: vconsole-outputlog-plugin-main文件名可能是指该插件的压缩包或分发版本,通常包含插件的源代码、文档和可能的配置文件。开发者可以通过该文件名在项目中正确地引用和使用插件。 通过掌握这些知识点,开发者可以有效地在vConsole环境中使用vconsole-outputlog-plugin插件,提高移动端网页的调试效率和体验。