杨净 明敏 发自 凹非寺 量子位 | 公众号 QbitAI
1111111
一切技术创新周期，一切发明时代，其实都是幂集创新作用的时代。我们希望通过这一系列栏目提供一种尺度，丈量技术创新周期的尺度，从技术维度把握创新浪潮的演进路线。
这是量子位最新原创系列策划栏目「幂集创新」第四期，本期的主题是移动计算。
智能手机之后的下一块屏幕，到底会是什么？
AR隐形眼镜？可做到随时随地在眼球上完成图像计算，在直径不到2cm的镜片上，集成了图像处理芯片、显示控制和无线通信系统等。
AR眼镜的无线设计参考也来了，智能手机和 AR 眼镜之间可以对计算负载进行分配，二者的融合将会更为丝滑，不免让人对消费级AR眼镜抱有更多期待。
另一边，ARM for PC也逐渐成为行业共识。ARM架构的低功耗、低耗电优势被移植到PC端，从而打破移动PC“苦续航久矣”的局面。
不管是当下火热的元宇宙领域，还是上一代移动计算平台，似乎不约而同地向着一个趋势发展——
移动性高、低功耗、长续航，还希望兼顾高性能。
而这些特性，不正是智能手机所具备的？同时也是它在十几年内成为主流移动计算平台的最重要原因。
不知道什么时候开始，智能手机已经不是各种移动计算平台当中的唯一主角了——至少从技术底层涌动的潮水来看，已经再明显不过。
新型移动计算平台基于过往的升维和融合
我们确实已经来到移动计算发展的新节点。
从定义来看，移动计算的范畴覆盖了可移动设备各类型数据的产生、分享、显示等全链条过程，其中的数据可能来源于人机交互，也可能来自于设备感知等层面。
当下最普及的移动计算平台非手机这一形态莫属。
如今随着5G和AI技术普及，人机交互进一步革新，设备感知形式也逐渐发生变化，并进一步催生出新型移动计算形态，如XR硬件、传统PC更新。
首先来看5G，无论移动计算的平台形态如何迭代，通信技术都是不可或缺的一环，甚至会对网络连接提出更高质量要求。
回望过去从2G、3G再到4G的发展，其实都聚焦于手机这一载体的应用拓展。而来到5G，这种趋势已悄然发生了变化。
标准制定组织3GPP最新释出的5G功能，应用场景不仅仅局限于手机，而是更加多元化。
而底层AI能力，则是驱动移动计算发展的另一大因素，能保证移动设备在有限算力和电源的条件下，具备足够的数据处理能力，以应对多元化的场景，比如游戏、娱乐、拍照等与我们生活息息相关的功能。
在智能化、数字化的当下，AI无疑成为了各大平台厂商、芯片供应商争相竞逐的对象。
于是，移动计算随着5G和AI的自然拓展和迁移，并催生了具有更新、更好体验的全新平台，也就变得顺理成章了。
而如果将5G当做一种基础能力，以AI能力为划分，移动计算的发展方向大致还可以分成两类：
一类是升维，一类是融合。
先说升维，以基于XR设备的移动计算平台为典型。人类几千年传播信息的媒介，无外乎都是二维、平面的介质；而元宇宙的XR设备，直接将二维升成了三维。我们存在的整个空间都变成虚拟化和可计算。这对底层的算法、算力提出了更高的要求。
拿我们最能感知到的视觉算法来说，手机主要聚焦于二维拍照的场景，包括人脸检测、超分降噪、画质增强、超清人像等。
以高通这一底层玩家为例，骁龙平台的高通AI引擎屡屡在这方面进阶：目前的第七代高通AI引擎已经将面部特征识别点增加到了300个，人脸检测速度相比上一代提升300%，还有像多帧降噪、局部运动补偿等功能。
而来到XR设备端，一戴上即开始全场景实时计算，包括位置跟踪、3D对象跟踪、平面检测、空间映射和网格化、场景理解等；不仅算法从二维升阶到三维，还对真实性、低时延提出了更高的要求。
另一类则是融合，这一趋势又以基于PC的移动计算为典型。随着移动办公、远程办公的需求兴起，PC端市场在这几年中正在迎来前所未有的增长。去年一年，全球PC市场创下了近十年来最大出货量，达到3.41亿台。
值得注意的是，且不说一些芯片玩家开始ARM for PC，就是更多手机厂商、互联网厂商也纷纷在布局平板、笔记本产品，软件开发者们也开始在打破移动与PC之间的边界。
各种原因，其实不难理解，就是融合生态的优势。移动手机的发展如火如荼，PC价值又无法替代。不如两者打通、无缝切换，实现全场景的覆盖。
这一点已成为业界共识。比如为了更好的“融合”，一些厂商原本在手机端的一些算法，比如视频会议时的面部识别、语音识别以及端侧AI加速等逐渐迁移到了PC端，还有像多屏协同、通用控制等新兴功能，正在成为生产力必备。
综上不难看出，以AI为驱动的移动计算的发展演变，正从基于手机这种单一形态，走向基于手机、XR、新型移动PC等终端或平台的多融合、多场景，而且速度迅猛。以XR设备为例，根据Counterpoint今年1月的数据，预计2025年，XR头显出货量将达到1.05亿台，相较2021年的1100万台增长10倍。
但如何走怎么走，以及一些尚待解决的技术问题，比如算力、算法以及架构兼容等，都是企业不小的难题，也将影响着未来移动计算的发展迭代。
怎么看未来移动计算的发展迭代？
从外在形式来看，移动计算的当下与未来，似乎落在了智能手机、XR设、移动PC等表现形式各异的硬件上。
但无论用于移动计算的终端或平台形态如何变化，决定根本属性的要素依旧是芯片、底层软件和算法。
作为当下移动计算平台的代表，智能手机的技术路线已经发展成熟，且其移动计算能力也还在不断迭代升级。
由此一来，关于“移动计算下一步该如何走”的问题，便不再完全是以0为起点的技术开创，而更多是如何让已有技术实现跨界迁移。
具体该怎么做？
行业玩家高通给出了一种技术路线参考——
将始于智能手机的通用硬件架构和软件特性作为关键因素，逐步扩展至XR、PC等新型移动计算平上。
而这条路线的最底层能力，还要从5G和AI看起。
一方面，两者驱动下，手机端的人机交互方式不再局限于触摸屏幕。
如语音助手、手势交互等功能，他们基于NLP、CV技术，实现了更符合人类自然信息交流方式的人机交互，并激发出了很多前所未有的应用。如第七代高通AI引擎，可以实现通过分析用户声音判断其心情是否抑郁、身体是否健康。
但是这些大量AI应用数据要在移动计算平台上快速传输，这也就要求平台同时具备强大的5G通信能力。
而这些在智能手机上“锦上添花”的功能，放到XR设备上则可能会是刚需，对5G能力的要求也会进一步增强。
另一方面，海量算法加持让手机性能一再突破极限。
比如摄像方面，降噪、自动对焦、使用滤镜、8K HDR等功能都可在算法的加持下实现，这些成为了手机拍摄大片的关键。
游戏方面，利用深度学习超级采样技术（DLSS），手机上也能提取渲染场景的多维特征，并智能的组合多帧画面细节来构造高质量图像，实现超越传统渲染的性能，比如云渲染了解一下，这就对5G和AI有着更高维的技术要求。
还有信号稳定传输、电池续航等问题，也能通过AI来智能优化。
这些方法思路同样可以用在XR设备、移动PC上来提升性能。
实际上，以AI作为共通的底层能力，为智能手机、XR设备、移动PC提供技术驱动，是行业内已经认可的技术路线。
比如，基于“统一的技术路线图”，高通的AI能力已经逐步渗透到XR、PC等几乎所有类型的终端。
XR领域，Meta Oculus、微软Hololens、字节Pico、创维VR等几乎所有主流XR厂商的头显设备，都采用了骁龙XR系列平台。其中骁龙XR2是当前的代表方案之一，高通称这是首款将5G和AI结合的XR芯片。
它引入了七路摄像头支持和定制化计算机视觉处理器，实现了实时追踪用户头部、嘴唇和眼球，26点手部骨骼追踪等功能。
场景理解和3D重建能够将虚拟信息与物理世界更好融合，带来更为沉浸的交互体验。
但与此同时，设备还会感知用户所在的外部环境，可以通过AI识别出门铃、孩子哭声等声音，来提醒人们处理紧急事件。语音助手也会实时待命，并能在嘈杂环境中识别命令，基于5G信号的能力及时将消息发送至用户终端（移动计算平台）上。
近日高通还发布了最新的第一代骁龙XR2 平台，在带来续航和散热表现的大幅提升之外，还引入了全新图像处理管线，支持并行感知技术，包括头部、手势和手柄追踪、3D重建以及低时延视频透视；该平台的高像素密度能够支持PC级虚拟景观，并能够同时支持多个传感器和摄像头，为更逼真的虚拟人物赋予细致入微的面部表情。
Meta已经发布了基于该平台的首款产品Meta Quest Pro，与同样搭载骁龙平台的手柄结合，可通过多个嵌入式定位摄像头进行自追踪，并与头显之间实现超低时延；结合面部和眼球追踪时，能够在VR中为用户打造更加自然的虚拟形象。这同样不失为是一种以升维为核心的融合。
移动PC领域，高通也在尝试用5G和AI来提升移动办公的生产效率、保护终端隐私。
比如召开远程会议时，设备可以准确感知到主体的面部，即便是在人口嘈杂的街边咖啡店也可以实现精准聚焦，周围的路人也就不会出现在会议上。
在第三代骁龙8cx计算平台上，高通AI引擎可以提供29 TOPS的加速能力，最高性能提升达3倍。云端部署、本地运行的方式，还能让轻薄本挑战高性能任务，并不占用过多资源。
除了自身应用落地外，高通还将这些底层AI能力集成到一个统一AI软件栈，实现移动计算底层“大一统”。最上游还是统一的AI框架和AI引擎Direct。随后通过不同的开发者服务、系统软件、操作系统，分发给不同的移动计算平台，比如，智能手机、XR、ACPC（Always Connected PC，即始终连接的PC）等都在其中。
其中高通还为开发者准备了一系列工具包，包括AI模型增效工具包、神经网络架构搜索、模型分析器等。
这样一来，它就能实现不同终端之间的应用开发互联互通，如手机到XR设备，以实现不同终端之间的能力打通。
以手机为始，拓展出XR和PC等新形态，最后再将其集成给开发者，构建多元的开放生态，是有点“一生二，二生三，三生万物”的感觉了。
而如果观察高通在5G和AI前沿技术上的探索，会发现他们对移动计算的想象还远不止于此。
高通的通信领导力自然不必多说。今年3月，高通发布了第五代5G基带及射频解决方案——“骁龙X70”。它不但是全球唯一支持从600MHz到41GHz全部5G商用频段的厂商，还全球首个集成了5G AI处理器，它可以利用AI优化Sub-6GHz、毫米波频段的5G链路，提升速度、网络覆盖、移动性、链路稳健性、能效，并降低时延。
而在AI的探索中，今年4月高通发表了一篇论文，介绍了一种用于全景分割的新型神经网络架构，基于对实例、语义关系的学习，它能像素级标记图像，有效识别事物特征并进行预测，同时还能自动关注重要的事物，并在所有基准测试中都达到了SOTA。
该研究可应用于自动驾驶、AR等场景下，目前已被CVPR 2022收录。
想象一下这项成果走向应用，那不就是Free Guy（科幻电影《失控玩家》）走进现实了吗？
未来移动计算还承载着人机交互变革
不可否认的是，包括高通乃至更多玩家都已经认识到以XR、ACPC为代表的新型移动计算平台催生出的新兴场景，有着前所未有的市场和价值。
用XR设备打开的元宇宙，可用于工业、娱乐、游戏、社交等一切可虚拟化的现实场景，在被广泛应用之后，未来几年足以撬动超8000亿美元市场规模。而随着以新型移动PC为代表的移动计算平台的更加通用，以及与其他计算平台的更加协同，更多场景与价值有待发掘……
如果说过去以手机延展出的场景，只是数以百计的垂直软件生态；那么来到新型计算时代，则是带来数以百计的横向产业拓展，进而带来数以千计、数以万计的开发者生态与企业机遇。
而这背后正是AI这一底层技术驱动，所引发的由点到线及面的幂集创新。
包括前面几期提到的汽车、物联网等场景，未来整个移动计算体系所承载着的，还有更为深远的人机交互变革。
纵览整个机器革命，每一次人机交互的革新，都给人类生活方式带来了巨大的改变。
以时间为轴，如今移动计算平台的革新，不正是当下正在发生的人机交互革命？
以传统PC为首的人机交互1.0，半导体技术飞跃进步推动个人计算机时代的到来。而像鼠标、键盘以及图形用户界面的发明，更是让计算机飞入寻常百姓家，即便那个家庭没有受到过专业训练。
当前，以智能手机为首的人机交互2.0，移动计算平台已经开始占据主导地位。
2007年前后以iPhone和各品牌安卓终端为主的触屏交互逐渐成为移动时代下的主流。人们用手指替代键盘，更多生活相关的应用，只需一部手机就可以搞定。因为其便携性，人人都可以拥有属于自己的人机交互设备。
而在可预见的未来，在5G和AI技术驱动下，由XR硬件等新型移动计算平台引领的人机交互3.0，更让随时随地交互成为可能，就像那个AR隐形眼镜，只需一睁开眼就能接收信息，动动嘴就能处理信息，一旦规模化普及开来，就是人机交互新时代的开始，如今只剩下最后的100米，要靠底层能力驱动。
在人机交互3.0时代，一些旧有的移动计算形态也在AI和5G连接等驱动下，带来新的价值创新，如更智能、便捷的新型移动PC体验。
但交互方式等体验上的改变仅仅是表象，技术的普及普惠，才是移动计算革新带来的根本上的深远影响。
从过去每个家庭拥有一台PC，到每个人都拥有一台智能手机，人机交互发生了巨大的变革；而在不远的未来，每个人将都可以随时随地开启各种全新形式的人机交互体验。当AI、5G等技术更加深入影响到我们每个个体当中，我们也可以如科幻电影主角那般，以更为多元的方式感知世界。
这从某种程度上也印证了，任何颠覆性的改变，不仅仅只有像高通这种位于AI、5G等基础技术顶端的赋能型企业能够感受到。其实，我们每个人都身处浪潮之中，能够亲身感受和丈量新的时代机遇，成为幂集创新的一份子。
论文链接： https://arxiv.org/abs/2204.05370
往期回顾
第一期：发明时代，「幂集创新」事关你我
第二期：车圈新卖点8155背后，汽车智能化竞争已踩下油门
第三期：马斯克雷军竞速「机器人」背后，一场机器革命正在发生
— 完 —
