新智元报道
来源：专知
【新智元导读】爱尔兰东南理工大学发表最新《人工智能和6G与元宇宙：基本原理、挑战和未来研究趋势》综述，39页PDF涵盖263篇文献。
自从Facebook被重新命名为Meta之后，关于什么是元宇宙（Metaverse），它是如何工作的，以及利用它的可能方法，大量的关注、辩论和探索都在加剧。
预计元宇宙将是一个快速出现的技术、用例、能力和体验的连续体，将弥补互联网的下一次演进。
为此，来自爱尔兰东南理工大学对AI、6G以及两者在实现元宇宙的沉浸式体验中的作用进行全面和深入的综述。
论文地址：https://arxiv.org/abs/2208.10921
首先，作者介绍了增强现实(AR)、虚拟现实(VR)、混合现实(MR)和空间计算的背景和进展，然后介绍了AI和6G的技术方面。然后，作者通过回顾深度学习、计算机视觉和边缘AI的最先进技术调研了AI在元宇宙中的作用。
接下来，作者调研了B5G/6G对元宇宙有前景的服务，随后确定了AI在6G网络中的角色，以及AI在6G网络中支持元宇宙应用的角色。最后，作者描述了现有的和潜在的应用、用例和项目来突出元宇宙中进展的重要性。
此外，为了向研究人员提供潜在的研究方向，作者列举了从上述技术的文献综述中发现的挑战、研究差距和经验教训。
引言
2021年，元宇宙开始影响现实世界，原因有: i) 疫情的生活方式，以及 ii) Meta、亚马逊、苹果、Netflix和谷歌（MAANG）为他们的用户发布了与元宇宙相关的功能和项目。
自那以后，元宇宙获得了学术界和工业界的绝对关注。在当前的时间点上，元宇宙可以被普遍视为一个扩展的现实(XR)空间池，其中人类和他们的数字对等体以完全沉浸式的方式交互[1]-[4]。
根据最近的一项调研，大多数技术专家认为，到2040年，元宇宙的运行将更加完善和无缝，世界各地的人们将能够充分参与到它的全沉浸式能力中，作为他们日常生活的一个组成部分。
从本质上讲，元宇宙预计将整合网络空间或万维网的所有重要方面，如B5G/6G、云计算和边缘计算、社交媒体、在线游戏、增强现实(AR)、虚拟现实(VR)、加密货币以及人工智能(AI)/机器学习(ML)/深度学习(DL)平台和应用，让用户虚拟地进行[1]、[5]-[8]交互。
元宇宙的一些早期应用，如Roblox、VRChat、Zepeto或Second Life，已经允许用户生活在「不同的」或模拟的生活中，比如交朋友和与新的虚拟人物社交。这些平台已经将AR、VR和MR作为元宇宙的几个元素。
虚拟现实技术是利用头戴式显示器（HMD）等各种软件和通信设备，用计算机生成的数字场景取代用户周围的真实世界。而在AR中，虚拟世界与现实世界无缝连接，以创造新的互动体验。最后，MR作为AR和VR及其底层技术的结合而出现。
值得注意的是，这些技术的普及使得AR和VR设备以合理的价格普及，同时不断提高用户体验的质量（QoE）[9]。
然而，为了达到VR服务所需的处理能力和通信速度，以提供流畅和沉浸式的体验，大多数HMDs仍然要求用户连接到PC或游戏控制台。唯一能够摆脱这种束缚的设备是Meta的Oculus Quest。在接下来的几年里，随着处理器变得更快，无线通信技术变得无延迟，视觉内容和移动设备的无连接体验将会有许多改进。
特别是随着5G的存在，连接到网络的设备将会激增，这将对元宇宙[10]的增长产生深远的影响。5G以低延迟实现了所有连接设备之间的实时通信和信息交换。
显然，5G比4G提供更快的速度，但最重要的是，它提供了各种各样的其他好处，超出速度[11]。具体来说，元宇宙开发者将能够通过创建应用，近实时地传输360◦的内容，从而受益于5G的低延迟。
元宇宙还将促进以人为中心/数据为中心的智能系统的发展趋势。这一趋势对现有的5G通信系统造成了许多限制，使其效率降低，不可靠。
例如，考虑到基于触觉的元宇宙应用如隐形传态或遥操作的0.1ms延迟要求，5G只能提供小于1ms的空中接口延迟，这对于[12]-[15]这样的应用来说是微不足道的。
此外，根据思科[16]，移动数据流量在过去5年增长了17倍，并有望继续增长。特别是，到2022年，5G流量将占全球移动流量总量的12%。
5G网络被设计成能够覆盖大范围的频谱，如毫米波(高达300 GHz)，因此可以处理大量的无线流量[17]-[20]。
由于元宇宙将带来一些可能需要高于Tbps的数据速率的应用，而mmWave系统则不太可能出现这种情况，如全息临场感(HT)、触觉感觉通信、脑机接口(BCI)和XR[21] -[23]。因此，为了实现Tbps数据速率的目标，研究人员开始探索太赫兹(THz)频段(0.1-10 THz)。
6G通信系统有望提供1Tbps的数据速率，运行在3Thz的带宽下，以支持在线游戏、高清视频直播、全息内容传输、实时化身互动[24]-[27]等数据密集型应用。6G还将提供无处不在的覆盖和超低延迟(小于1ms)，并通过集成空间、空中、地面、海洋[28]-[30]网络，支持约100公里/小时的机动能力。
然而，虚拟教育和培训、精确导航和定位、沉浸式游戏和远程医疗应用等元宇宙应用都将通过AI和6G实现，使元宇宙更加成功。特别地，计算机视觉的尖端技术可以用来提供三维动画人体模型或逼真的动画人脸，甚至可以用来创建[31]-[33]全息图。
然而，将3D内容用于元宇宙服务的关键挑战在于现有基础设施的可扩展性。因此，元宇宙的崛起使得开发关键工具和基础设施至关重要，使元宇宙开发者能够构建更好、更可扩展的3D/AR/VR体验，而不管平台或目的。
原则上，研究人员需要从人工智能的监督学习范式中迈出一步，采用强化学习和自监督学习等多样化的学习策略，以便在元宇宙环境中进行扩展。此外，6G网络的边缘计算能力可以与AI相结合，提供边缘智能，从而减少元宇宙[34]中增强的QoE的网络延迟和隐私问题。
受现有技术和可预见的挑战的驱动，作者在元世界的背景下调查了AI和6G的最先进技术，以回答以下问题: 如何利用AI、6G和两者之间的持续进展提供更好和可持续的元世界体验？
从上述讨论可以清楚地看出，现有的一些调研集中在AI、6G和相关技术的非常狭隘的视角，而其他一些调研了元宇宙在社会、经济和数字价值方面的作用。与之相反，在本综述中，作者提供了以下关键贡献:
- 作者描述了元宇宙的底层组件，即VR、MR、AR和空间计算。本文介绍了上述技术的详细背景，以便读者了解技术方面和最先进的技术，从而实现完全沉浸式的元宇宙。
- 作者对人工智能的最先进技术进行了广泛的综述，并研究了人工智能在实现元宇宙中的作用。从本质上讲，作者定义了人工智能在元宇宙分层架构中的角色，其次是计算机视觉应用的最先进技术，学习范式和元宇宙的边缘人工智能。
- 作者通过首先回答以下关键问题来解释B5G/6G在实现元世界中的作用: i) B5G/6G需要一个小时吗? ii) B5G/6G能给元宇宙带来哪些服务?接下来，通过专门考虑5G-NR、URLLC、mmWave、MEC、thzcomm及其相互作用，作者回顾了沉浸式体验和无线全息远程呈现的最新技术。
- 作者还考虑AI和6G在实现元宇宙方面的综合作用。原则上，作者研究了AI用于6G网络和6G网络用于AI支持元宇宙的潜力。接下来，作者将在前面提到的技术环境中调研元宇宙的可持续性，然后是潜在的应用和用例以及正在进行的项目。最后，作者提出了挑战和未来的研究方向以及从这次调研中获得的经验教训。
术语「Metaverse」是前缀「meta」（意思是「超越」)和后缀「verse」（「宇宙」的缩写）的组合。因此，它指的是物质世界之外的宇宙。这个「超越宇宙」暗指一个计算机生成的环境，而不是形而上学或神秘的概念领域超出物理现实[43]。
元宇宙是完全沉浸式的三维数字环境，与网络空间不同，网络空间指的是所有在线空间。
元宇宙指的是物理现实向数字领域的转化，所以它可以是物理现实和数字领域的混合，如AR、VR、MR
可持续元宇宙
参考资料：
https://arxiv.org/abs/2208.10921
