在人工智能领域,“手势识别”技术已经发展得非常普遍,广泛应用于视频直播、智能家居、智能驾驶等。

用户只要通过手势就可以控制对应的功能,人机交互方式更加智能化、自然化。

视频直播手势特效

智能家居手势交互

智能驾驶手势操控

今天我们要给大家介绍慧编程中的【手势识别】功能。通过它,你可以创作出好玩的“黑科技”,就像《少数派报告》中的阿汤哥一样!

案例分享:手势计算器

本视频为同同爸创作的“手势计算器”完整教程,时长约9分钟

01

准备工作

 

  • 准备一台电脑
  • 下载慧编程( https://www.mblock.cc)或者登录慧编程网页端(https://ide.makeblock.com/)

 

02

手势识别原理

一个基于视觉手势识别系统的构成应包括:图像的采集,预处理,特征提取和选择,分类器的设计,以及手势识别。

其流程大致如下:

手势本身具有丰富的形变,运动以及纹理特征,选取合理的特征对于手势的识别至关重要。目前常用的手势特征有:轮廓、边缘、图像矩、图像特征向量以及区域直方图特征等等。

03

实现步骤

步骤1:添加扩展

打开慧编程,在“角色”Tab栏下,点击积木类别栏下方的“添加扩展”,在弹出的对话框中找到【人工智能服务】扩展,点击“添加”。

添加完扩展后,我们发现积木类别栏中,多出了5个名字为【语音交互】【文字识别】【图像识别】【人体识别】【自然语言处理】的类别,里面有很多人工智能积木。

在这个案例中,我们主要会用到【人体识别】中的【手势识别】功能,其他功能后续会讲解。

1.识别手势:通过摄像头获取2秒、5秒、10秒后镜头前的图像,并识别图像中的主体物体。

当前慧编程可识别的手势主要如下:

2.手势识别结果:该积木块输出数据类型为字符串,保留最后一次识别结果。积木块可被勾选,勾选后在舞台显示识别结果。

步骤2:构思程序

1.在使用慧编程【人工智能服务】扩展的时候,我注意到有一类积木很有意思,叫做“手势识别”。于是我通过结合【手势识别】和【语音识别】积木块,来试试这个功能,程序如下图所示:

2.在尝试的过程中,发现计算机能准确地识别出用手势比划出的数字,于是我在想:可不可以用它做一个与数字有关的小案例呢?比如手势计算器?于是,我开始尝试编写程序。期望实现的效果是:计算机能识别出我用手势比划出的数字,并对数字进行求和。

步骤3:关键源码实现

步骤4:检测效果