备课小工具,实验记录

2020-04-27 10:17:58 浏览数 (1)

继续上次的话题:

从技术、设计、AI等角度,谈谈RecordScreen.io

这次我把代码改造了下,使用上了RecordRTC这个库,把摄像头跟屏幕共享的视频合成在一起,并且摄像头的视频流做了个跟随人脸的模块。

人脸跟踪的效果如上图所示

这样备课的时候,摄像头的视频画面会自动校正,加上手势的互动,也没问题。

效果如下:

我把它写成了一个插件,集成到我自用的编辑器里了(就是之前提到的MIXLAB实验品之X编辑器)

再次验证了我之前对这款编辑器的产品形态的思考:

可以承载 代码片段,可交互的demo,文章,图片,视频,数据集,留言等等,可以把我所有的实验品,研究的内容,灵感都塞到里面。 甚至可以把mixlab的十几个不同兴趣社群都集成进去~~~

大致包括了6个模块:

1 图像压缩

2 计算人脸位置

3 裁切新的摄像头视频画面

4 水平翻转视频(我想让摄像头跟照镜子一样的效果)

5 合成新的摄像头视频流

6 摄像头视频 屏幕共享视频合成

比较难处理的问题是:

1 计算时间过长造成卡顿;

2 视频跟随人脸的流畅度问题;

需要一个比较好的解决方案。

0 人点赞