隔空作画,握拳清屏,这个手部跟踪项目火了,在线可玩

2021-10-26 16:18:02 浏览数 (1)

机器之心报道

机器之心编辑部

会写粉笔字的同学更容易掌握 YoHa 的使用技巧。

在屏幕上隔空作画是近来新兴的一种有趣应用,其中涉及复杂的手部跟踪技术,这类技术成熟之后可用于提升应用程序的交互体验。此前机器之心曾报道过可以隔空写字、绘图的有趣项目「air-drawing」,该项目利用深度学习工具使得用户在配有摄像头的电脑端就可获得自己的手势姿态估计成像图。

近日,又一个具有相似功能的开源项目在 reddit 上大火,该项目名为 YoHa——Your Hand Tracking。

项目地址:https://github.com/handtracking-io/yoha

网站:https://handtracking.io/

用 YoHa「隔空作画写字」的效果如下图所示:

这里我们也实际操作了一下,又 get 一项新技能:

YoHa 是一种基于 TensorFlow 框架的手部跟踪引擎,围绕用户和开发人员认为有用的特定手势而开发。YoHa 旨在为使用手部跟踪的应用程序提供更多实质性价值,以构建新的多功能解决方案,提升应用程序的交互体验,其最终目标是成为支持任何手势的通用手部跟踪引擎。

YoHa 从设计之初就考虑了实用性能,它能够在各种笔记本电脑和台式机上提供实时用户体验。目前 YoHa 在移动设备上的性能欠佳,后续将随着 TensorFlow.js 等推理框架的发展而改进。

使用方法

首先只需一行代码就能轻松安装 YoHa:

npm install @handtracking.io/yoha

也可以在 Demo 网页上下载使用:

Demo 地址:https://handtracking.io/draw_demo/

不同于大多数用指尖操纵绘制的手部跟踪引擎,YoHa 的使用需要捏合并操纵一个「光标点」。这个操作有点像用粉笔写字,需要一点技术。

首先屏幕上有一个会随着拇指和食指位置移动的光标点,用这两只手指做一个捏合姿势来控制光标点,移动光标点即可进行绘画。

只需握拳就可清除画布:

感兴趣的小伙伴快去试一试吧!

参考链接:

https://www.reddit.com/r/MachineLearning/comments/q9hhqt/p_yoha_a_practical_hand_tracking_engine/

https://pythonrepo.com/repo/handtracking-io-yoha-python-deep-learning

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

0 人点赞