继续上次的话题:
从技术、设计、AI等角度,谈谈RecordScreen.io
这次我把代码改造了下,使用上了RecordRTC这个库,把摄像头跟屏幕共享的视频合成在一起,并且摄像头的视频流做了个跟随人脸的模块。
人脸跟踪的效果如上图所示
这样备课的时候,摄像头的视频画面会自动校正,加上手势的互动,也没问题。
效果如下:
我把它写成了一个插件,集成到我自用的编辑器里了(就是之前提到的MIXLAB实验品之X编辑器)
再次验证了我之前对这款编辑器的产品形态的思考:
“可以承载 代码片段,可交互的demo,文章,图片,视频,数据集,留言等等,可以把我所有的实验品,研究的内容,灵感都塞到里面。 甚至可以把mixlab的十几个不同兴趣社群都集成进去~~~”
大致包括了6个模块:
1 图像压缩
2 计算人脸位置
3 裁切新的摄像头视频画面
4 水平翻转视频(我想让摄像头跟照镜子一样的效果)
5 合成新的摄像头视频流
6 摄像头视频 屏幕共享视频合成
比较难处理的问题是:
1 计算时间过长造成卡顿;
2 视频跟随人脸的流畅度问题;
需要一个比较好的解决方案。