从“线上互动”到“实时临场感”,走向实时互动技术新世代!丨XDC 2022

2022-07-18 14:41:02 浏览数 (2)

三星堆上新全国观众“云考古”,诗词大会 1000 人同屏开麦,故宫古文物 22 倍高清放大,近些年来,音视频领域高速发展,带来一场又一场视觉盛宴,背后离不开实时互动技术的助力。

新冠疫情加速了全球范围的数字化转型,在线上办公、活动和娱乐的实时互动场景越来越多。在线虚拟陪伴不再新奇,协同办公工具频繁使用,人们的生活方式、工作方式、娱乐方式,都潜移默化的发生了改变。

实时互动技术正实现从“在线”到“在场”的转变,推动互联网朝以“临场感”为特征的下一次变革。随着 5G、大数据、云计算等技术的深入交叉发展,以及元宇宙等概念的推广,实时互动技术将加速赋能千行百业,不断拓宽边界。

7 月 22、23 日即将举办的第二届稀土开发者大会(XDC 2022)上,由声网技术 VP 冯越作为出品人的《实时互动技术新世代》专场,将探索实时互动技术的最新趋势,分享实时互动领域的最新进展和工程实践,本届开发者大会免费报名中,点击文末阅读原文识别海报二维码即可与各位牛人分享交流。

演讲主题:下一代 Web 实时音视频技术和开发实践

WebRTC 1.0 标准化落地使得 Web 平台具备了基本音视频互通能力,但实时音视频互动新场景中的新需求例如背景分割、美颜、超分、AI 降噪、空间音频已超出 WebRTC 1.0 覆盖的用例。如何提供差异化的音视频体验,并且保证复杂使用环境下的可用性成为了 Web 平台面临的新挑战。本主题演讲将结合 W3C 推行的一系列新标准探讨下一代 Web 实时音视频技术架构的建设。

演讲大纲:

  1. Web 平台的 RTC 方案

1.1 WebRTC 方案与非 WebRTC 方案

1.2 WebRTC Next Version(WebRTC NV)用例

1.3 WebRTC NV 的媒体处理需求

  1. Web 媒体处理新标准及其实践

2.1 媒体流数据:Insertable Streams for MediaStreamTrack

2.2 媒体编解码:WebCodecs

2.3 媒体流处理:WebGL/WebGPU、WebAssembly

2.4 媒体流传输:WebTransport

  1. 下一代 Web 实时音视频技术架构

演讲嘉宾:冯盛源 声网高级软件开发工程师

2021 年加入声网,主导 WebRTC Next Version(WebRTC NV)项目开发,致力提供差异化的实时音视频互动体验。

演讲主题:互动白板的开发难点:冲突处理和扩展开发

主流的会议软件或者教学软件都配备了强大的互动白板系统,那什么场景中我们才会需要互动白板来辅助教学或者会议呢?本次分享主要围绕着以下三个核心问题展开来介绍互动白板。1. 对比一般的屏幕分享互动白板有哪些难以取代的功能和优势?2. 互动白板通过哪些技术来实现这些的呢?3. 互动白板以后会沿着怎么样的技术路线发展。

演讲大纲:

  1. 互动白板的使用场景和优势

1.1 传统:教学、会议;新场景:VR、游戏等

1.2 优势:低带宽、强互动、隐私保护

  1. 互动白板的技术难点

2.1 互动系统的整体架构

2.2 互动应用冲突解决模型

2.3 实时数据库服务

2.4 基于 Web 的跨平台和扩展

  1. 互动白板的发展演进

3.1 技术:随着前端工程化的生态变丰富以及 Wasm 等底层技术发展,互动白板的生态和体验都会快速进化。

3.2 场景:随着插件生态的丰富,会在越来越多的场景中被使用。会往在线互动系统的方向演进。

  1. 如何基于我们的开源项目快速上手

4.1 基于 Fastboard 快速接入启动

4.2 基于 Flat 修改上线

演讲嘉宾:伍双 声网互动应用创新部门负责人

主要负责声网互动白板相关业务,以及实时互动开源项目 Flat。曾创办 Netless 互动白板公司,并于 2020 年底带领团队加入声网。

演讲主题:亿级安装量,如何将 SDK 崩溃率降低至十万分之五?

声网一直非常重视可靠性,这里的可靠性不仅包括 SD-RTN 传输网络的高可用,也包括端侧 SDK 的稳定性,SDK 崩溃率是关键衡量指标之一。RTC 相关的技术非常复杂,涉及到多平台的适配,音视频的采集、渲染、前后处理、编解码和网络传输。声网如何在这个复杂的系统上做到十万分之五的崩溃率?本次分享将介绍声网在 Native SDK 上的稳定性最佳工程实践。

演讲大纲:

  1. 声网 SDK 稳定性前世今生

1.1 稳定性对声网的意义

1.2 我们自己的感受

1.3 用数据说话

  1. Native 稳定性最佳工程实践

2.1 崩溃/卡死捕获原理

2.2 测试与覆盖率

2.3 Sanitizer 原理与应用

  1. 稳定性监控平台的搭建过程

3.1 技术选型

3.2 实现难点

3.3 平台成果展示

  1. Native 稳定性疑难杂症案例分享

演讲嘉宾:周成 声网高级软件开发工程师

2019 年加入声网,参与大前端 Native SDK 稳定性系统搭建,目前专注于软件工程质量方面的研究。

演讲主题:空间音频如何助力在线互动场景的沉浸感体验?

随着虚拟现实(VR)/ 混合现实(MR)技术的发展,基于耳机的空间音频变得越来越重要。空间音频实际上是仿真一个真实声源产生声音,传播以及被人耳接收的过程。如何有效地模拟这一个过程,让 3D 音频沉浸式地再现,是空间音频的主要研究方向。除此之外,如何有效地渲染大量的声源是一个值得讨论的问题。本次分享主要是介绍空间音频渲染的原理,在线上互动场景中实时渲染空间音频的算法,包括基于对象和基于场景的方法,以及行业中的应用案例。

演讲大纲:

  1. 沉浸式 3D 音频体验不可或缺的元素

1.1 直达声

1.2 声源朝向,距离以及移动声源

1.3 房间混响

  1. 空间音频实时渲染的策略和部署

2.1 基于对象和场景的不同渲染方法

2.2 端云结合的渲染部署

  1. 空间音频在游戏、社交等互动场景中的应用

演讲嘉宾:李嵩 声网音频算法工程师

德国汉诺威大学博士,参与过 HRTF 快速测量、虚拟声外化感提升、基于VR的空间音频、耳机主动降噪等项目。2021 年加入声网,主要从事实时空间音频算法研究,包括双耳声实时渲染、增强立体感和沉浸感等。

“本届大会策划的专题除实时互动技术新世代以外,还包括了开源和商业化探索、大前端、低代码、业务背后的架构演进、微服务和 Serverless、云原生技术架构和变革等十数个技术专场,由来自字节、阿里、腾讯、快手等公司具备技术影响力与洞察力的行业专家负责议题把控,目前大会出品人已全部集齐,讲师阵容即将确认完毕。除了为期两天的沉浸式内容体验,稀土开发者大会还为万千开发者朋友们准备了丰厚的奖品,报名参会的开发者将有机会参与抽奖,赢取丰厚大奖,敬请期待。 ”

点击下方阅读阅读原文,即刻免费报名抢占最佳观景位!

0 人点赞