Web结合音视频的极致AR效果,视立方SDK上线Web端AR能力

2022-11-07 12:11:36 浏览数 (2)

视立方·腾讯特效SDK自上线Web端AI美颜等能力以来,凭借出色的效果获得了不少客户的青睐。经过长时间的研发打磨,我们很高兴地宣布产品有了新的突破性进展,时下流行的3D头部特效、Animoji表情、虚拟形象等玩法,现已支持在Web平台运行!同时底层算法也通过重构获得了更优异的性能。使用SDK可以轻松将这些AR能力集成到Web或小程序中,为您的产品添加新的乐趣!

3D头部特效

3D特效是在现有2D特效基础上的次元升级,效果更逼真,可玩性产生质的飞跃,亦能在一些眼镜、帽子等试戴类应用中大放异彩。

WebAR·3D头部特效能力展示

应用场景

1. 试穿试戴

如何让消费者拥有与线下一致的购物体验,是线上购物平台的关注重点。随技术发展,虚拟试穿试戴正变得越来越流行。消费者可以随时了解商品的外观、材质、穿戴效果等,为购买提供直观的参考

2. 视频玩法

凭借真实的环境模拟及精确的定位算法,特效渲染更加立体、逼真。通过添加虚拟的3D头饰、眼镜等道具,带给用户新颖的AR效果体验,丰富线上视频的玩法。

技术亮点

1. 精准贴合

模型是否拟合人脸是3D效果好坏的关键,针对这个问题,研发团队不断优化模型跟踪算法,精准捕获头部动作,使得模型定位更贴合,效果更逼真,在Web平台做出了一流体验。

2. 跨平台

业界一直缺乏完善的小程序3D方案,针对小程序模型加载渲染的各种问题,研发团队从底层开始进行兼容处理,逐个击破,使得解决方案可以同时适用PC Web、移动H5和小程序平台

3. 极致性能

研发团队在AI推理与模型加载方面也进行了极致优化,利用GPU、SIMD加速优化推理、渲染时间,降低模型资源占用。保证即便是在性能损耗较大的移动H5、小程序上均能快速渲染、流畅运行。

4. 内置特效,支持自定义

SDK提供了多个精心制作的特效供用户直接使用。此外,统一的素材生产管理控制台也支持可视化编辑,方便用户自定义制作3D特效,简单几步便可投放到应用中,根据业务需求灵活扩展。

Animoji表情与虚拟形象

近些年,各手机厂商除了在系统上不断升级优化外,也更加注重视觉体验。自iOS15带来拟我表情以来,厂商们纷纷推出了各自的表情、人像系统,以增添视频聊天的乐趣。客户端进展的如火如荼,Web端却缺乏通用的解决方案。研发团队紧跟时代发展脚步,针对Web浏览器平台,带来了Animoji表情与虚拟形象的能力支持,填补了相关空白

WebAR·Animoji能力展示

WebAR·虚拟形象能力展示

应用场景

1. 线上会议

随着浏览器的发展,Web会议类应用层出不穷,如何在众多同类应用中脱颖而出,就需要给自己的产品加点”料“。除了现有的美颜美妆功能外,类似于Google Meet 中的各种酷炫的视觉效果,就可以通过腾讯特效SDK的表情功能轻松实现,给用户带来新颖的视觉体验,让自己的应用与众不同。

2. 视频聊天

糟糕的发型,凌乱的房间,视频聊天的场景总会遇到不方便露脸出镜的尴尬情况,借助上述能力就可以解决类似的苦恼。使用有趣且富有创意的表情或者虚拟形象进行视频通话,增加趣味性的同时消除形象担忧,聊天的过程会更加轻松。

技术亮点

1. 实时表情追踪

基于SDK高效的人脸关键点检测算法,实时跟踪面部动作,达到表情随动的效果。结合AI和计算机图形学,精准识别用户表情并还原,实现丰富细腻的表情效果。同时支持多个面部器官联动,表情模拟生动、自然。

2. 内置素材,支持自定义

SDK内置了多个Animoji表情及虚拟形象素材供用户直接使用,也可以在readyplayer或Vroid等平台制作专属的虚拟形象,通过SDK简单配置即可添加到应用中。

性能优化

除了上述新特性,此次版本还针对性能问题进行了优化。使用c 重构了底层检测模块,结合帧结果缓存、gl加速等手段优化检测流程,同时使用wasm simd128指令集进行性能优化,降低了GPU使用率,修复了老版本存在的内存泄漏的问题,大幅降低了SDK运行时的内存积累。

腾讯云视立方·Web 美颜特效是适用于Web、小程序端的AR美颜特效解决方案,包含素材制作、素材管理、前端接入等全流程能力,可以快速、高效地与TRTC、快直播业务结合,丰富Web实时视频应用体验。欢迎广大开发者前来体验!

小程序端体验:微信小程序搜索「视立方WebAR」或扫码体验。

Web端体验地址:demo.webar.zijiebao.com。

腾讯云视立方·Web 美颜特效SDK限时免费体验中,您可点击文末「阅读原文」前往官网了解更多产品详情,也可扫描下方二维码添加「音视频小姐姐」微信,直接与我们的产研团队沟通咨询。

腾讯云音视频在音视频领域已有超过21年的技术积累,持续支持国内90%的音视频客户实现云上创新,独家具备 RT-ONE™ 全球网络,在此基础上,构建了业界最完整的 PaaS 产品家族,并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK,助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代,提供坚实的数字化助力。

0 人点赞