9 月 2 日下午，2022 世界人工智能大会“游戏·AI·元宇宙”高峰论坛在上海举办。本次论坛由上海市经信委、徐汇区人民政府指导，上海米哈游网络科技股份有限公司主办，徐汇区科委、文旅局、伽马数据、西岸集团特别支持，米哈游、Unity、腾讯、复旦大学等游戏、科技、教育领域的众多专家到场交流。
腾讯游戏多媒体引擎 GME (Game Multimedia Engine) 副总经理左小祥受邀参加演讲，分享了腾讯云在虚实互联视角下的场景洞察、技术成果及应用，与行业各方共同探讨虚实互联的发展和价值。
腾讯云 GME 副总经理 左小祥
01
虚实互联趋势
腾讯云 GME 副总经理左小祥表示，现实中的场景搬进虚拟世界的趋势逐渐升级，虚拟世界已经成为了用户日常生活中重要的部分，虚拟和现实世界的边界逐渐打通。我们认为虚拟世界不是独立于现实世界存在的，需要与现实世界共生。
人与人之间的“沟通”是个很常见的场景，也是我们作为人最基本的需求之一，我们从这个场景来具体聊聊虚实互联。面对面的沟通交流被搬到线上之后，诞生了很多社交、会议、办公软件，多方之间的交流沟通跨越了地理位置和环境的限制。这种沟通方式往往是平铺直叙的，只是简单完成了信息传递和交流。
而虚实沟通更有沉浸感，一定是有成倍的体验感和技术升级，让用户体验得到极大提升。现在有不少应用已经具备了虚实互联的初期特性。玩家个性化的虚拟身份标识，在不同的玩家自建游戏项目中畅游，模拟真实世界的沉浸沟通体验。虚拟世界中的资产有价值的产生和传递，有良好的价值生态，让用户、平台、个人开发者三赢。
02
技术上助力虚拟场景互联互通
多样的沟通互通方式对虚实互联的技术提出了更高要求。
丰富多媒体形态的的技术实现
音频角度看，互动的声音可以不再是平铺直叙，而是每个玩家可以定制专属声音，并且声音可以与虚拟场景产生相互作用，比如说话时会有真实环境中的声音反射、混响等音效。
我们和全球顶尖音频引擎 Wwise 合作推出了 Wwise GME语音互动方案（可点击跳转方案），就能实现这样的效果。在这个方案中，开发者可以将语音融入到游戏音效的设计过程，为语音提供了丰富的玩法设计空间，这个方案已经帮助了很多游戏实现了更沉浸的语音沟通体验。
视觉角度，用户的表情、动作是能辅助声音来进行观点和情绪的表达的。我们前段时间发布了虚拟人互动方案（可点击跳转方案），可通过动作捕捉、语音采集处理、数据传输、虚拟人模型驱动，让用户实时向虚拟世界的好友展现自己的形象、情绪、观点，这是很让人兴奋的。
高性能、低延时的互联互通技术底座
高频互动、海量的多媒体信息，需要高性能、低延迟的 RTC 传输技术来进行海量的数据传输。我们将已经得到亿级用户验证的腾讯会议底层通讯架构提供出来，帮助多个虚拟世界的多媒体数据、虚拟 IP、虚拟场景产生连接和交互。这里有两个应用场景可以同大家分享：
- 场景1：是使用腾讯会议来帮助游戏内玩家与真实世界的朋友交流。玩家在一个虚拟世界中，打开一个“虚拟”的摄像头，采集到自己在游戏内的场景、形象；他的真实世界的朋友通过腾讯会议的客户端加入，开一场“虚实结合”的会议。虚拟场景内的音视频得以在真实世界进行跨次元的传播。
- 场景2：虚拟演唱会，偶像通过动捕采集的虚拟模型成像站在舞台上，粉丝可以开启摄像头同偶像实时交流。用户不在一个虚拟世界或现实空间，但却紧密联结在了一起。虚实互联的想象空间非常大。
AI 技术助力虚拟互动场景沟通
在音视频处理、图像 AI、内容生产、语义理解等方向上，腾讯云也在探索，大部分技术已经可在虚拟沟通场景落地。
- AI 音频处理：音频工程师们基于上千小时的语音噪声数据，通过深度学习和AI算法，已经成功消除 300 多种环境噪声；基于声纹的个性化语音增强技术，凸显讲话人的声音信号。
- 3D 空间语音：通过高精度调优 HRTF 模型、距离衰减模型，还原声音的方位。360° 3D 语音 范围语音，帮助玩家在虚拟世界中通过声音的远近和位置判断他人的方位，还原最真实的空间感。
- 图像 AI：图像分割、人脸动捕、手势识别、肢体动捕与驱动
- 内容生产：模型驱动、投屏
- 语义理解：语音文本互转、文本翻译
在硬件互联方面，我们也正在做探索，比如裸眼 3D，未来其在虚实互联沟通场景也会有比较不错的价值体现。我们也希望联合众多行业伙伴，共同打造虚实共生的技术开放生态，助力丰富技术底座。
03
虚实互联有什么价值？
第一点价值是内容的生产和传播。各世界中内容可以在不同平台上输送，丰富虚拟世界中的消费内容。虚实互联帮助虚拟场景内的 PGC、UGC 内容打通任督二脉，针对这一点也可以有新的商业模式想象空间。
第二点价值是用户虚拟形象可在多次元虚拟世界与他人交流，虚拟形象价值将显著提升。随着用户的虚拟形象展示时间和渠道增多，虚拟形象在日常生活也会扮演更重要的角色，创作者和各平台方有机会在虚实互联下创造更多的价值空间。
第三点是帮助日常的业务流程进行虚拟世界和现实世界的端到端打通。现实场景（如办事、办公、生产、电商购物、逛展等）可创建或接入虚实互联空间。当人们办理日常事务、逛商场购买商品， 都能在虚拟世界中操作完成，线上的用户体验流与真实世界中的后台工作流联结起来，虚实世界紧密地联系在了一起。相信未来，更多的场景和行业也将加入虚实互联的趋势中来，共同促进虚实共生发展。
GME 能力全景图
刚刚提到的众多 AI 技术、互联互通的能力，腾讯云已将部分技术对外输出。目前我们已经实现了多平台（包括游戏主机和 VR）的互通及适配，为全行业伙伴提供沉浸感、多端互通的沟通互动方案。未来我们的对外输出技术也将不断扩充，助力全行业伙伴能在虚实互联趋势中成长、落地。
演讲结尾，腾讯云 GME 副总经理左小祥表示：“不管未来元宇宙形式是什么样子，最重要的是要积极拥抱、勇敢探索，保持科技向善的初心，扮演好数字化助手的角色，应用好现在技术服务好整个产业互联网。”
关注公众号
