三星堆上新全国观众“云考古”,诗词大会 1000 人同屏开麦,故宫古文物 22 倍高清放大,近些年来,音视频领域高速发展,带来一场又一场视觉盛宴,背后离不开实时互动技术的助力。
新冠疫情加速了全球范围的数字化转型,在线上办公、活动和娱乐的实时互动场景越来越多。在线虚拟陪伴不再新奇,协同办公工具频繁使用,人们的生活方式、工作方式、娱乐方式,都潜移默化的发生了改变。
实时互动技术正实现从“在线”到“在场”的转变,推动互联网朝以“临场感”为特征的下一次变革。随着 5G、大数据、云计算等技术的深入交叉发展,以及元宇宙等概念的推广,实时互动技术将加速赋能千行百业,不断拓宽边界。
在 7 月 22、23 日即将举办的第二届稀土开发者大会(XDC 2022)上,由声网技术 VP 冯越作为出品人的《实时互动技术新世代》专场,将探索实时互动技术的最新趋势,分享实时互动领域的最新进展和工程实践,本届开发者大会免费报名中,点击文末阅读原文或识别海报二维码即可与各位牛人分享交流。
演讲主题:下一代 Web 实时音视频技术和开发实践
WebRTC 1.0 标准化落地使得 Web 平台具备了基本音视频互通能力,但实时音视频互动新场景中的新需求例如背景分割、美颜、超分、AI 降噪、空间音频已超出 WebRTC 1.0 覆盖的用例。如何提供差异化的音视频体验,并且保证复杂使用环境下的可用性成为了 Web 平台面临的新挑战。本主题演讲将结合 W3C 推行的一系列新标准探讨下一代 Web 实时音视频技术架构的建设。
演讲大纲:
- Web 平台的 RTC 方案
1.1 WebRTC 方案与非 WebRTC 方案
1.2 WebRTC Next Version(WebRTC NV)用例
1.3 WebRTC NV 的媒体处理需求
- Web 媒体处理新标准及其实践
2.1 媒体流数据:Insertable Streams for MediaStreamTrack
2.2 媒体编解码:WebCodecs
2.3 媒体流处理:WebGL/WebGPU、WebAssembly
2.4 媒体流传输:WebTransport
- 下一代 Web 实时音视频技术架构
演讲嘉宾:冯盛源 声网高级软件开发工程师
2021 年加入声网,主导 WebRTC Next Version(WebRTC NV)项目开发,致力提供差异化的实时音视频互动体验。
演讲主题:互动白板的开发难点:冲突处理和扩展开发
主流的会议软件或者教学软件都配备了强大的互动白板系统,那什么场景中我们才会需要互动白板来辅助教学或者会议呢?本次分享主要围绕着以下三个核心问题展开来介绍互动白板。1. 对比一般的屏幕分享互动白板有哪些难以取代的功能和优势?2. 互动白板通过哪些技术来实现这些的呢?3. 互动白板以后会沿着怎么样的技术路线发展。
演讲大纲:
- 互动白板的使用场景和优势
1.1 传统:教学、会议;新场景:VR、游戏等
1.2 优势:低带宽、强互动、隐私保护
- 互动白板的技术难点
2.1 互动系统的整体架构
2.2 互动应用冲突解决模型
2.3 实时数据库服务
2.4 基于 Web 的跨平台和扩展
- 互动白板的发展演进
3.1 技术:随着前端工程化的生态变丰富以及 Wasm 等底层技术发展,互动白板的生态和体验都会快速进化。
3.2 场景:随着插件生态的丰富,会在越来越多的场景中被使用。会往在线互动系统的方向演进。
- 如何基于我们的开源项目快速上手
4.1 基于 Fastboard 快速接入启动
4.2 基于 Flat 修改上线
演讲嘉宾:伍双 声网互动应用创新部门负责人
主要负责声网互动白板相关业务,以及实时互动开源项目 Flat。曾创办 Netless 互动白板公司,并于 2020 年底带领团队加入声网。
演讲主题:亿级安装量,如何将 SDK 崩溃率降低至十万分之五?
声网一直非常重视可靠性,这里的可靠性不仅包括 SD-RTN 传输网络的高可用,也包括端侧 SDK 的稳定性,SDK 崩溃率是关键衡量指标之一。RTC 相关的技术非常复杂,涉及到多平台的适配,音视频的采集、渲染、前后处理、编解码和网络传输。声网如何在这个复杂的系统上做到十万分之五的崩溃率?本次分享将介绍声网在 Native SDK 上的稳定性最佳工程实践。
演讲大纲:
- 声网 SDK 稳定性前世今生
1.1 稳定性对声网的意义
1.2 我们自己的感受
1.3 用数据说话
- Native 稳定性最佳工程实践
2.1 崩溃/卡死捕获原理
2.2 测试与覆盖率
2.3 Sanitizer 原理与应用
- 稳定性监控平台的搭建过程
3.1 技术选型
3.2 实现难点
3.3 平台成果展示
- Native 稳定性疑难杂症案例分享
演讲嘉宾:周成 声网高级软件开发工程师
2019 年加入声网,参与大前端 Native SDK 稳定性系统搭建,目前专注于软件工程质量方面的研究。
演讲主题:空间音频如何助力在线互动场景的沉浸感体验?
随着虚拟现实(VR)/ 混合现实(MR)技术的发展,基于耳机的空间音频变得越来越重要。空间音频实际上是仿真一个真实声源产生声音,传播以及被人耳接收的过程。如何有效地模拟这一个过程,让 3D 音频沉浸式地再现,是空间音频的主要研究方向。除此之外,如何有效地渲染大量的声源是一个值得讨论的问题。本次分享主要是介绍空间音频渲染的原理,在线上互动场景中实时渲染空间音频的算法,包括基于对象和基于场景的方法,以及行业中的应用案例。
演讲大纲:
- 沉浸式 3D 音频体验不可或缺的元素
1.1 直达声
1.2 声源朝向,距离以及移动声源
1.3 房间混响
- 空间音频实时渲染的策略和部署
2.1 基于对象和场景的不同渲染方法
2.2 端云结合的渲染部署
- 空间音频在游戏、社交等互动场景中的应用
演讲嘉宾:李嵩 声网音频算法工程师
德国汉诺威大学博士,参与过 HRTF 快速测量、虚拟声外化感提升、基于VR的空间音频、耳机主动降噪等项目。2021 年加入声网,主要从事实时空间音频算法研究,包括双耳声实时渲染、增强立体感和沉浸感等。
“本届大会策划的专题除实时互动技术新世代以外,还包括了开源和商业化探索、大前端、低代码、业务背后的架构演进、微服务和 Serverless、云原生技术架构和变革等十数个技术专场,由来自字节、阿里、腾讯、快手等公司具备技术影响力与洞察力的行业专家负责议题把控,目前大会出品人已全部集齐,讲师阵容即将确认完毕。除了为期两天的沉浸式内容体验,稀土开发者大会还为万千开发者朋友们准备了丰厚的奖品,报名参会的开发者将有机会参与抽奖,赢取丰厚大奖,敬请期待。 ”
点击下方阅读阅读原文,即刻免费报名抢占最佳观景位!