技术解码 | 来腾讯云，一起搭建“元宇宙“+“互动直播”云游戏吧！

本周的技术解码，为您带来

《Rival Peak》技术剖析与腾讯视频云方案分享

关键词：元宇宙互动直播云游戏媒体处理视频AI

从“互动直播”、“云游戏”到“元宇宙”，所有人都在畅想互动娱乐的下一个时代。很多尝试已取得亮眼成绩，元宇宙概念股Roblox(RBLX.US)市值一年暴涨10倍多；弹幕互动游戏《互动派对》测试当天弹幕量冲至全网第一；Facebook上线的《Rival Peak》最多超过60万人同时在线；腾讯、网易相继投资Genvid、Imvu等相关公司；一切似乎都在预示着新世界的大门即将打开。

腾讯云作为互动娱乐行业解决方案领导者，一直在云游戏、直播、智能媒体处理等领域积累技术能力，本文将以《Rival Peak》为例剖析“元宇宙”的玩法和方案架构，以及基于腾讯云的云游戏解决方案和视频云媒体处理中台可快速探索的新玩法。

《Rival Peak》是在Facebook上线的类游戏互动直播真人秀。在3个月游戏周期内，12个AI角色进行全天直播并完成一系列生存任务，直播过程中观众可实时互动选择剧情走向或影响游戏角色任务进度，观众参与积分低的角色将淘汰。每周半小时总结秀《Rival Speak》回顾剧情走向。

1、玩法简介

进入Facebook点击进入直播间，作为观看者

点击链接跳转到游戏页面，转为玩家角色

点击头像进入角色游戏页面，可参与左侧任务互动

游戏页面右侧为角色信息和回顾

2、研发框架和关键点

从Genvid创始人的博客和采访中，我们试图还原《Rival Peak》研发框架与配合模式（见下图），并找出其中的几个关键点：

技术积累：AI技术、云游戏和流媒体技术发展是基础。Pipeworks创造出AI参赛选手和虚拟世界，角色自主活动产生剧情；云游戏平台技术支持多端、大规模玩家同时参与互动并生成游戏直播流；流媒体技术支撑多个互动直播流实时传输，实现云端生成、云端传输、云端处理、云端存储；
模式创新：创造“大型互动直播游戏”模式并与真人秀结合，对于玩家和观众来说是一种全新的体验，也是一个全新的探索；
团队协同：主要的三个团队（Facebook、Genvid和Pipeworks）之间能够打通技术接口和协同研发是项目成功的关键；
快速迭代：根据用户反馈增加故事回放、观众贡献、互动地图、休闲小游戏等新模块，为提升用户参与度动态调整UI和UX，做到游戏周期内实时植入改进。

元宇宙玩法多种多样，基于腾讯云的云游戏解决方案和视频云媒体处理中台，我们大概拆解如下几个新玩法，接下来将为大家一一剖析：

1. 大型互动决策的云游戏玩法

技术积累是业务落地的基础，由于《Rival Peak》并未公开其技术细节，现根据腾讯云已有能力复盘其玩法，用于探索云游戏更多新场景。

根据游戏呈现方式和玩法，技术方案主要拆解为3个模块：云游戏模块、直播模块和互动云游模块（见下图），下面将分模块为大家剖析细节。

云游戏模块

基于腾讯云的云游戏解决方案，您可以为每个角色创建单独的云游戏实例，该云游戏实例主要负责每个角色的渲染和运行，并将角色游戏内画面生成为视频直播流，推送给直播模块和互动云游模块。所以基于云游戏模块，观看者在本地无需下载和安装游戏，即可实现互动能力。

腾讯云的云游戏解决方案架构

直播模块

直播模块是参与者进行观看、讨论、发送弹幕等活动的纯直播场景，从游戏生成直播流到参与者观看，主要可分为以下几步：

直播模块中，通过云游戏解决方案将每个角色在云端渲染运行，并通过推流接口，分别将每个角色的画面推流至快直播 or 云直播LVB；
云导播台将多路游戏直播流处理为一个画面混流，实现多角色自动轮播的“上帝视角”；
前端页面接入云直播SDK，快速实现直播流的播放；
极速高清编码压缩码率并改善画质，并可通过智能编辑中的智能弹幕等功能实现更多直播效果。

经过云游戏模块和直播模块，我们即可从上帝视角，窥探整个游戏的进展，达到“元宇宙”的体验效果。

互动云游戏模块

互动云游模块是本方案的技术核心，从玩家参与游戏方式、游戏直播画面呈现和游戏内数据展示剖析，互动云游戏模块主要由“指令”、“直播”和“点播”三路数据流构成（见上图），腾讯云方案详细说明如下：

互动指令流：服务器将用户选择信息传递给云游戏后台，改变角色直播流和点播流，对应角色信息返回到页面；用户参与投票等互动后，服务器统计完成后反馈给云游戏后台，影响角色游戏行为；

角色直播流：将用户所选择的直播流通过低延时的快直播SDK接入页面，改善用户互动体验；

角色点播流：智能集锦处理各角色直播流，生成集锦到云点播-存储，云点播接入页面并使用极速高清压缩码率并改善画质，根据所选角色传输对应点播视频流。

通过经过云游戏模块、直播模块和互动云游模块，我们实现了“元宇宙” “互动直播”的精髓：多角色多视角观察游戏内世界、游戏内角色自由互动、玩家即时互动影响游戏进程。

那么，下来我们重点介绍下我们腾讯云的“视频云媒体处理中台”。

2.腾讯云“视频云媒体处理中台”全景

以视频云媒体处理中台为基础，已推出适用各场景的很多成熟方案：游戏直播、电商带货、视频会议、在线课堂、广播电视、内容社区等等，结合云游戏、直播、点播等能力又拓展出互动直播云游戏、弹幕互动云游戏等新场景。

媒体处理中台的各项技术能力均处于行业领先，未来将与伙伴探索更多新业务场景，详细产品介绍：

云游戏解决方案：稳定低延时的音视频能力，配合腾讯云丰富的边缘计算节点和灵活的 GPU 虚拟化技术，为云游戏开发者提供一站式端游手游 PaaS 解决方案。
视频处理：针对海量多媒体数据，提供的云端转码和音视频处理服务。您可以按需将云存储中的视频文件转码为适合在 OTT、PC 或移动端播放的格式，满足您在各类平台将视频文件转为不同码率和分辨率的需求。此外，还为您提供了叠加水印、视频截图、智能封面、智能编辑等视频处理服务。
智能编辑：多维度的 AI 技术结合腾讯领先的音视频编解码方案，为直播点播平台以及媒体行业，提供稳定高效的“媒体质检”、“画质重生”和“编辑理解”基础能力，实现视频内容生产降本增效。
快直播：（超低延迟直播）是标准直播在超低延迟播放场景下的延伸，比传统直播协议延迟更低，为观众提供毫秒级的极致直播观看体验。能够满足一些对延迟性能要求更高的特定场景需求，例如在线教育、体育赛事直播、在线答题等。
云导播台：依托腾讯云强大的视频直播能力，在云端实现直播流的切换，多画面的混流播出等。云导播台支持自定义画面布局、垫流垫片、音视频同步切换等功能，省去了沉重的传统导播台的硬件设备，让您方便快捷的使用导播服务，丰富线上业务场景。

3. 更多基于腾讯云的“元宇宙”玩法探索

那么除了上述的玩法外，基于腾讯云还能做怎么样的新玩法呢？我们大概梳理了以下几类：

直播间对战的云游戏玩法

在上述的方案中，观众只能看直播画面，并通过投票进行互动，游戏性其实比较弱，那有没有更沉浸式、更原生的游戏体验呢？

那么现在给大家介绍另外一种新玩法——直播间互动对战。过去直播平台的互动方式较为单一，主要通过刷弹幕、送礼物等方式单向互动，缺乏新的交互形态。

本方案同样基于云游戏解决方案、云端推流、快直播等能力，主播/房主在玩云游戏过程中，粉丝观看过程可上麦，并申请获得云游戏的控制权，实现主播与观众接力或对战PK等（如下图），观众的实时互动性更强，游戏沉浸感也更强。