点击上方“LiveVideoStack”关注我们
翻译、编辑 | Alex 技术审校 | 刘连响 本文来自Streaming Media，作者为Adrian Pennington。
▲扫描图中二维码或点击阅读原文▲
了解音视频技术大会更多信息
元宇宙
影音探索
#007#
早在主流媒体对元宇宙产生浓厚兴趣之前，Magic LEAP、Nvidia和华为等公司就已经在尝试构建元宇宙了，只不过当时它们被称为Magicverse、Omniverse或Cyberverse。其他公司将元宇宙概念化为Planet-Scale AR、AR云和镜像世界。现在与元宇宙联系最紧密的人——马克·扎克伯格，曾将它描述为“Embodied Internet”。
这些想法与空间计算（也被称为3D Web），或者电影特效先驱John Gaeta等人设想的由计算机生成的3D VR与AR相吻合。文化历史学家和科幻爱好者会告诉你，在电影《头号玩家》及其原著风靡全球以前，元宇宙这个词由Neal Stephenson首创于他1992年推出的小说《雪崩》。
所有这些概念都集中描绘了互联网的同一演进：从平面文本和图片网页到一个通过数字化增强物理世界、实现（至少）3D体验的虚拟空间。
AWE（Augmented World Expo，增强现实世界博览会）的创始人Ori Inbar在2017年曾将AR云解释为“对现实世界持续地数字化复制，在不同用户和设备间实现共享AR体验”。和他的解释相比，元宇宙目前的最新解释并没有发生太大变化。
Infinite Reality公司的总裁Rodric David在NAB Amplify的一篇文章中这样描述元宇宙：“元宇宙是……流媒体、交互体验和社交媒体的完全融合。内容、通信和交互被呈现为深度、强烈真实感的体验，并驱动用户行为，最终成就品牌价值。”
在线游戏创作网站Roblox的CBO Craig Donato告诉Protocol：
“人们使用互联网是为了获取更多的信息，但是进入元宇宙则是为了拥有更多的社交机会。我将不再受限于物理距离或者其他约束因素，比如与谁互动、如何呈现自己。这绝对是颠覆性的。”
没有人知道元宇宙何时完全形成，但是支持者持积极态度，认为下一代互联网将对万事万物产生深远影响。它将成为全球生产和观看直播内容的主流平台，David说：“它将具有交互、实时交易、品牌推广整合、游戏、综合社交、区块链和NFT、游戏化工具等功能和特性。”
本篇文章不会去过多地讨论现在围绕元宇宙的诸多活动（科技巨头想要通过它们来占有我们更多的数据、金钱以及精神世界）。但我们也必须承认：下一代互联网框架之战已经开始了。
01
开放或者封闭？
Epic Games的CEO Tim Sweeney总结了这场战争，他指出要实现元宇宙的价值（无论是金钱上的收益，还是在创造性和社交方面），由Facebook和谷歌建立起来的“围墙花园（Walled Garden）”必须被拆掉。他对《华盛顿邮报》表示：“现在我们正处在封闭的平台中，Apple和谷歌也在利用这种封闭性；但当我们摆脱现状，所有人都将意识到：好吧，原来过去十年时间，我们所做都是为了成就别人。”
译者注：“围墙花园(Walled Garden)”是一个控制用户对应用、网页和服务进行访问的环境。围墙花园把用户限制在一个特定范围内，只允许用户访问或享受指定的内容、应用或服务，禁止或限制用户访问或享受其他未被允许的。——来自百度百科
撇开Epic Games自己的应用（比如Fortnite）在很大程度上也是“围墙花园”这一点不谈，业内人士普遍承认“如果想要实现元宇宙的价值，就需要在构建一系列的标准、指南以及最佳实践的基础上形成跨行业联盟，这样才能支持大规模跨平台3D和XR内容的持续生产和发行”（来自Nvidia 开发者生态系统副总裁Neil Trevett在RealTime Conference 2021上的演讲内容）。
02
标准化工作组
Sweeny认为，正如1986年成立IETF开发和推广互联网标准一样，构建元宇宙也需要这样的合作。你需要一整套标准，Web就是基于其中的几个标准（比如HTML）实现的。元宇宙则需要大量标准，如用来描述3D场景的文件格式、描述玩家如何实时交互的网络协议等。每个多人参与的游戏都使用某种网络协议，这些协议并不都相通，但最终它们都应能彼此通信。
能够支持持久、无处不在的虚拟模拟技术的协议、格式以及服务等交互标准和工具也许将是整个元宇宙框架中最重要的组成部分。“没有它们，元宇宙将不会存在，充其量不过是现在移动互联网和应用商店的一个更加虚拟和沉浸式的版本。”EpyllionCo的执行合伙人Matthew Ball和Genvid Technologies的CEO Jacob Navok在Ball的个人网站上写道。“更重要的是，这种平庸的模仿将无法实现丰厚的盈利，也远远谈不上健康、充满活力……”
虽然大部分相关主题的文章都假设元宇宙只有一个，但其实更准确来说，它将成为一个多元宇宙。与当今互联网使用亿万个人主页或者应用作为访问点非常相似，元宇宙的主页入口将通过一个基于浏览器的URL和个性化的avatar来实现。“人们将能够使用加入游戏引擎机制的移动设备穿梭在整个虚拟元宇宙环境中，”David说道。“无限定制的avatar将携带钥匙、钱包并持有身份，成为我们的虚拟版本。”
03
数十亿个元宇宙
很有可能存在数十亿这样的元宇宙，其中元宇宙的每个人都拥有自己的数字ID，但能够同步和交互才是它们的目的。我们的avatar应该能在各个元宇宙、硬件设备（VR头显、AR移动设备）中自由出入，我们的行动、创造、数据以及区块链钱包也和avatar一起，不受“围墙花园”的限制和阻碍。
“毫无争议，区块链以中立、共享的方式表达个人所有权，同时它也是实现长期开放框架（人们身在其中可以控制自己的存在，而无需人看管）最实际的方法，”Sweeney在The Business of Business上的一篇文章中写道。
要实现这一点，就需要经过个人出资以及个人努力所取得的独特创造，也就是封闭元宇宙，同时还需要开放元宇宙中更多的开放标准和大规模可扩展方法。道德层面，元宇宙的开放与封闭一直存在争论，主要倾向于资本主义垄断和社会主义（民主）乌托邦两大阵营之争。现实中的差异则更加微妙。
“封闭元宇宙只有在用户签署终端用户许可证协议后通过下载专有source IP才能访问，” David说。“Fortnite、Roblox、《使命召唤》、 Minecraft和《英雄联盟》都是封闭元宇宙。而任何人创建avatar后，通过PC或者移动设备上的浏览器和URL就能访问元宇宙。在接下来的几年里，各个品牌都需要将投资元宇宙作为头号策略。”
如果目的是尽力将世界整合到元宇宙中，也就意味着我们身边的很多设备和平台都要相互连接，比如汽车、安保摄像头、VR和AR头显、投影摄像头和屏幕、可穿戴设备等等。Ball和Navok表示：“开发这些将需要专有标准，或者至少能够从专有标准的使用中受益。这无疑给开发者们带来了很大压力，很有可能形成恶性循环——没有平台拥有足够的用户进行开发，没有平台拥有足够的内容来吸引用户……你无法将Roblox中的体验导入Minecraft或Fortnite中，正如你无法轻易地将Ins上的照片和点赞导入到TikTok或Snapchat上。”
04
开放元宇宙的构成
如何以一种开放、灵活且高效的方式描述共享虚拟世界是构建开放元宇宙的关键。“肯定不会是HTML或者JavaScript渲染库的扩展，”担任Nvidia高级杰出工程师的Michael Kass在领英发布的一篇文章中写道。“也不会由标准委员会来创建，它将是一种开源3D场景描述（3D Scene Description），在极具挑战的条件下历经多年训练而成。”
Nvidia支持皮克斯的开源USD（Universal Scene Description，通用场景描述）。Kass说：“为了方便艺术家之间的团队合作以及各种工具的互换，并最终呈现出电影级别的虚拟人物、场景和动画，皮克斯的USD便应运而生，发展至今。”利于团队合作的特性也正是元宇宙中合作和社交部分所需，互换工具的标准化也恰恰能将元宇宙连接在一起。”
Nvidia使用USD作为其Omniverse（一个为各类公司构建元宇宙应用的B2B平台）的核心技术，Kass表示，Nvidia 对USD的增强使其能够“在相关渲染过程所在的任何地方”渲染应用程序，从而实现了元宇宙的可扩展性。
Kass解释道：“Web已经有了多种复制机制，它们包括分布式数据库、CDN和各种各样的缓存。但是复制一个十分复杂的3D虚拟世界却具有其独特的挑战。如果Web页面的HTML发生了变化，可以重新发送整个更改后的HTML。对于由数百个兆字节构建的虚拟世界而言，这么做根本不切实际。任何实用的开放元宇宙都必须能够通过发送（仅）指定更改内容的增量更新来进行复制。”
通过在USD之上构建一个高效的复制系统，Nvidia相信自己能够同步多个参与者的虚拟体验。在另一篇文章中，Ball写道：“对于Omniverse来说最关键的是，即使不考虑使用的文件格式和引擎或者模拟技术，它也能实现这种同步。也就是说，这一切都不必通过Unity、Unreal或AutoCAD。虽然目前Omniverse主要用于设计和测试，但可以想象，Nvidia未来会利用这种技术加上其自身的工业计算能力，来实现元宇宙的大部分体验。”
Nvidia将Omniverse描述为一个构建和模拟虚拟世界的端到端平台
（图片来自Nvidia）
05
创造大规模3D资产
Nvidia也是Khronos Group的支持者之一。Khronos Group是一个包括华为、谷歌、Epic Games和Valve等在内的行业联盟，专注于开发开源API以及为图形、计算和渲染加速创建免专利费的开放标准。Khronos Group管理的标准包括Vulkan、OpenXR、OpenGL ES、WebGL 和 glTF 等。
根据Khronos Group所述，WebGL API的使用已经非常普遍，它允许用户观测、操控和修改3D 模型而无需安装任何浏览器插件。它表示，VR和AR现在通过WebXR在浏览器中也获得了支持，为高效下载和渲染而设计的glTF 3D文件格式也实现了3D模型的创建和转换。
Epic Games、Nvidia和谷歌等公司已经开始构建元宇宙中的数字世界。能够将现实世界复制到数字世界的公司商业前景无限。比如，2019年，Epic Games收购了Quixel，这是一个由艺术家Teddy Bergsman和Waqar Azim于2011年创立的2D和3D摄影测量资产库。2016年，Quixel推出了基于真实世界材质和3D物体扫描的在线素材库——Megascans。
在写给NAB Amplify的一篇文章中，Ball表示，映射现实世界的能力已经成为IP的重要来源。“这种变化说明了为什么像Epic和Unity等公司会选择收购那些拥有扫描真实世界能力的公司，而不是自己从零开始创造。在未来几年中，我们将很有可能看到这个赛道中异常激烈的竞争。Nvidia、Autodesk、Facebook、 Snap和Niantic等拥有相同业务的公司都将选择创建自己的数据库。
然而，创造3D资产需要技能高超的技术人员和艺术家，这些人才的缺乏对元宇宙的增长来说将是很大的阻碍。Khronos Group的开发者认为面向大众市场的LiDAR（Light Detection and Ranging）技术很可能解决这个问题。目前一些新上市的手机（比如iPhone 12）中就内置了这种技术，每个普通用户都能使用。
有传言说，iPhone 13 Pro可能内置了第二代LiDAR扫描仪，配合机器学习算法，这种扫描仪可以将我们的日常生活瞬间转变成3D。“很多专家认为3D采集将像2000年的数字摄像一样普遍。”来自TechRadar的报道称。
LiDAR不止处理静止图像，它对于用户制作的Volumetric Video也十分重要。Apple Insider指出，Apple于2021年发布的专利可以通过编码器压缩视频中的LiDAR空间信息。“它可以让A15芯片根据LiDAR深度信息模拟视频的焦外成像（Video Bokeh）， 同时仍然可以拍摄高质量视频。”
基于glTF等交互标准的3D媒体管理平台（如Sketchfab和Poly）已经可以通过Web浏览器查看和交互控制3D模型。“LiDAR技术……现在可以让任何人通过最新的iPhone大规模渲染真实世界，将其转换为机器可读的3D模型，再转换为可交易的NFT，然后快速上传到开放的虚拟世界中。这些世界里有各种avatar、可穿戴设备、家具，甚至是整座大楼或者整条街道。” 风投公司Outlier Ventures的CEO兼创始人Jamie Burke在一篇网站推文中写道。
Burke同时还在领导一项工作，那就是为开放元宇宙奠定基础。Outlier Ventures投资了新兴的Web 3领域中的加密货币、区块链以及创业公司。该公司表示：“去中心化技术的融合将彻底重构互联网并形成新的数据经济。过去20年一直被全球数字化挖掘、不断增加的反社交平台以及“云”所主宰，接下来的20年将由网络价值的重新分配和平台垄断的分拆来定义。平台的权力将向个人用户转移。”
Outlier Ventures希望通过推广开放元宇宙操作系统（The Open Metaverse OS, 一种建立在NFT等去中心化协议成功基础上的共享、开放的操作系统）来加速元宇宙的实现。它明确地将数字货币及“链上NFT交易资产”与新兴元宇宙经济的核心联系在了一起。
Ball和Navok也认同这种方法。他们认为区块链将成为一种重要的交换技术，它可以“保留最大价值并受益于开放标准”，而且非常有可能在元宇宙中蓬勃发展。
合成摄像头图像和相对应的真实数据（图片来自Nvidia）
06
元宇宙的开放操作系统
Burke认为，他提到这些框架技术（如LiDAR、皮克斯的USD以及Nvidia的Omniverse），相比于任何封闭平台，在一个全球性开放的市场中将获得更多收益，而且Web 3和加密正在不断加强与游戏和VR等新环境的融合，这些新环境正在从Web 2平台向新一代平台迁移。Open Metaverse OS的最佳解释就是一批持续发展、高度可组合的技术，这些技术将越来越多地、且有选择地用于开发更加开放的元宇宙。
其他平台希望在社交上也能达到类似的成果。OWAKE是一个“实时‘时刻’分享系统”，可以实现人与人、人与机器以及机器之间的通信。Kronosa开发了这一系统，它的任务就是“使用下一代互联网构建可持续的人类社会——人类可以同时居住和工作在虚拟世界和真实世界中”。除此之外，Open Metaverse Interoperability Group “正致力于通过设计和开发用于身份、社交图谱、库存等的协议来连接虚拟世界”。
Nvidia Drive Mapping为自动驾驶车辆提供可缩放、高清地图和本地化等功能
（图片来自Nvidia）
07
元宇宙中的硬件
元宇宙与否，软件已无法解决穿越在网络间的海量数据需求。优化视频传输的带宽、延迟以及可靠性十分关键。“如果我们想在一个巨大的、实时共享且持久的虚拟环境中交互，我们将需要接收海量的云数据流，” Ball和Navok在另一篇文章中写道。“如果我们想无缝跳转到不同的虚拟世界中，那么云数据流就会非常重要。”
延迟是目前体育直播的一个大bug。当然一般来讲，通过优化LL-HLS和ABR等技术，从视频采集到屏幕播放的延迟能降低到5秒。这种程度的延迟对于NFL或者Premier League的比赛直播而言还说得过去，但却无法适用于竞技类电子游戏、在线博彩以及多人对阵游戏，更不用提未来元宇宙中的即时社交互动了。“轻微的面部表情变化对于人类交流而言非常重要——我们对微小的错误或者同步问题异常敏感（所以才产生了CGI中的“恐怖谷效应”），” Ball和Navok说道。他们坚持认为：这无关于你的设备有多强大，如果它不能及时接收到需要的所有信息，那么算力的可用性和开发就会限制并界定元宇宙。
08
用于元宇宙的计算、5G和边缘
人们认为，5G与构建在边缘地带（位于数据中心或者手机）的基础设施将一起成为实现元宇宙的关键。该领域中除了电信技术的常规发展之外，还有很多针对元宇宙的创新。位于洛杉矶的创业公司LionShare Media推出了提供Premium娱乐和沉浸式媒体体验的THIN/AIR平台。根据其网站介绍，这个直接面向用户的云原生5G去中心化媒体分发平台，为创作者提供属于自己的名为Projects的媒体渠道。LionShare Media对Projects的解释是：它们是空间3D Web APP，拥有超越OTT视频、社交媒体和直播体验的hyper-cube UI/UX设计。
但即使我们提升了用户设备的算力，使更多企业算力接近于用户算力，建设更多的去中心基础设施，依然很有可能功亏一篑。
Ball和Navok的想法是：将产生一种P2P网络，其中每台本地PC和设备的可用算力将用于满足需求。设备所有者将因为他们的CPU和GPU算力被使用而获得报酬。他们认为，未来的交易如果通过区块链来操作，这种方法是很有可能实现的。“每台计算机（无论大小）都将被设计为可以拍卖任何空闲计算时间。数十亿个动态排列的处理器将能够为最大行业客户的深度计算提供动力，最终连接所有计算机并提供无限算力，从而实现元宇宙。”
References:
https://amplify.nabshow.com/articles/metaverse-will-supplant-the-internet-rodric-david/
https://www.awexr.com/
https://www.bbc.com/news/technology-57942909
https://www.protocol.com/roblox-metaverse
https://www.businessofbusiness.com/articles/why-mark-zuckerberg-is-turning-facebook-into-a-metaverse-company/
https://www.matthewball.vc/all/themetaverse
https://www.khronos.org/webgl/
https://www.techradar.com/news/why-the-iphone-13-pros-lidar-scanner-could-be-its-secret-photographic-weapon
致谢：
本文已获得作者Adrian Pennington授权翻译和发布，特此感谢。
原文链接：
https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=151453
喜欢我们的内容就点个“在看”吧！
