根据Counterpoint Research不久前公布的2022年Q2数据显示,联发科继续领跑全球智能手机AP/SoC芯片组出货量排行榜,连续8个季度市场占有率排名行业第一。可以说联发科持续引领着移动平台的发展趋势。
不过,近年来随着智能手机行业的竞争进入红海,不同厂商产品的同质化越来越严重。当“拼参数”逐渐不再有效之后,手机芯片的未来创新点会在哪里呢?
近日,联发科举行天玑旗舰技术沟通会,重点展示了联发科正在深耕的六大技术趋势:涵盖移动光追及移动GPU增效方案、AI图像语义分割、5G新双通、Wi-Fi 7、高保真蓝牙音频以及高精度导航。可以说,这些技术的公布也预示着未来手机行业的技术趋势。
一、移动光追及移动GPU增效
2018年,英伟达推出图灵架构GPU,一举将光线追踪技术带入大众视野,桌面游戏也逐步进入光追的时代。光线追踪很长一段时间被限制在影视以及广告等少数行业的原因是对于硬件的高要求,桌面端GPU支持光线追踪,无疑可以将更好的游戏体验带给普通消费者。桌面级GPU发展光线追踪的同时,越来越多的桌面级游戏特性也出现在手机上,手游开始成为越来越多游戏玩家的选择,在手机端运行桌面级游戏的情况越来越多。如果能在手机端也能玩上支持光线追踪的游戏,无疑将增加手机对游戏玩家的吸引力,布局光线追踪技术无疑是手游的重要发展方向,作为底层技术提供商的联发科也不例外。
目前NVIDIA的30系/20系显卡以及AMD的RX 6000系显卡都已经增加了对于光线追踪的硬件支持。随着图形技术的进步,目前也有厂商开始推出光线追踪的SDK,来让开发者在APP中增加光线追踪的特效,联发科就宣布将会推出基于Vulkan扩展的移动端光线追踪SDK解决方案,该解决方案可以为游戏以及应用开发者提供必需的工具、框架和内容,推动移动光追的发展。
联发科去年就预测到了全局光照技术的到来,今年,联发科更预测,基于移动光追的需求会有更大更广的覆盖。比如从前年到去年,联发科持续跟游戏引擎合作的这些光追方案,目前都变成了手游开发者的标杆。 联发科认为,随着技术的发展,光追已经不再是专属于高端端游的技术,目前已经逐渐贴入移动用户需求。
△联发科移动光追的技术布局
今年1月,Vulkan 1.3标准正式发布,支持目前最主流的Vulkan Raytracing API,可以说这直接标志着移动GPU的光追技术将加速普及,并覆盖更广泛的内容类型。早在一年前,联发科就已提前布局Vulkan Ray Query技术方案,携手行业合作伙伴开展密切合作,率先构建移动光追技术生态,面向未来最具潜力的GPU技术,巨头和巨头间的行动早已开始。此前联发科就表示,通过这套解决方案,同时使用腾讯游戏为移动平台所量身定制的光线追踪渲染管线,可以让处理器的图形性能充分发挥潜力,从而让游戏画面进一步提升,达到与现实世界相近的光照效果。
此外,今年ARM最新的旗舰GPU IP核Immortalis-G715也全面支持硬件级移动光追,支持更复杂、更真实的场景应用,为移动端游戏等应用带来更逼真、更具沉浸感的使用体验。通过硬件加速,可实现实时的移动光追效果,包括光追软阴影、反射效果和全局光照技术,提升全场景画质。此外,面向开发者和硬件厂商,联发科还与评测工具厂商联合推进移动光追生态发展。
作为在移动光追领域深耕多年的技术引领者,联发科表示,其在移动光追上的技术方向与Nvidia一致。相比PC端的方案,移动设备的光追对于功耗的要求更高。同时通过搭配超分或降噪算法,可以辅助光追的内容运行更好。此外,GPU目前除了一些自带的通用算法,未来根据不同场景也可以搭配自研算法。关于移动GPU领域的创新机会,联发科预测,基于移动光追技术的需求可能会有更大更广的覆盖。
△移动光追所需的三大技术布局:光追软阴影、光追反射效果以及全局光照技术
移动光追的实现需要做到哪些效果才能够呈现拟真实体验,联发科归纳出三个基础功能:光追软阴影、光追反射效果以及全局光照技术。这三个基础功能都是目前开发者的主力以及游戏引擎里面比较具有优先级的功能。
第一个是在阴影部分,透过光追实现软阴影效果,可以发挥出比较特别的一些效果。通过软阴影,可以反映出光源强弱、距离不同的效果。
第二个是光追反射效果。传统的渲染方式对于反射的效果,需要耗费大量的算力,但是可能还无法做到非常真实的呈现。通过光追的做法,可以比较真实地计算出这些物件相对应反射的角度和位置,使得反射比较真实。
第三个是全局光照技术。通过全局光照这种环境光的处理,可以让间接光源对暗部的处理更加强。这种暗部处理更加强之后,用户的感受就会更真实。
联发科表示,在移动光追的实现过程中,内容复杂度的不可控,对于移动GPU的能效和算力会增加很多压力。这也进一步驱动联发科去布局一系列的移动GPU增效方案,去解决系统资源平衡,以及复杂运算所需要的能效、算力余量。
一方面,通过制程和工艺的发展,推动GPU硬件性能和能效的提升;
另一方面则是通过Vulkan推动生态的发展,以及平台软件优化。
最后则是由平台厂商提供更多的自研算法,类似于游戏超分、游戏插帧等。
联发科认为,在GPU领域的切入点是从用户需求定义产品档位。从IoT产品、智能手机等移动端产品,到笔记本系列和服务器,这些不同档次和不同体验需求的终端产品,都需要不同的GPU算力来支撑。因此,联发科将GPU的特性分类成能效导向、性能导向和超级算力的三个部分。而联发科重点关注的是在能效导向的部分。在能效导向的维度中,主要为了满足移动平台,会需要有长效续航的需求。简单来说,联发科将功耗放在性能变现的前面,只有功耗问题解决了,才会尝试堆叠性能。这也是联发科一贯的技术方向。
二、AI图像语义分割
影像处理目前成为各大手机厂商竞争的重点,其实其中不少技术已经率先在电视上采用,比如AI图像语义分割技术(AI Image Semantic Segmentation)就已经应用在旗舰级的电视中。联发科将电视上的更先进的图像画质增强技术导入到手机。为什么旗舰电视芯片里面的影像处理效果技术是最先进的?因为电视在众多消费级产品里面面板尺寸是最大的,因此它对画质的要求相对也是最精细的。以2022年众多电视领导品牌为例,SONY、三星、LG、TCL纷纷推出智能景深技术,即利用分区影像处理来区隔主体和背景后,以不同的PQ(图像画质增强)效果加上景深效果,从而提高立体感,如此可为终端消费者带来沉浸式的观赏体验。利用分区处理取代全面处理,能带来更精致的画质增强。
其主要原理是利用AI,将图像内部的场景进行辨识,当我们辨识到建筑、风景或者人像的时候,有针对性的调节不同画面的对比度、锐利度和色彩。当然,这种方式主要还是针对具体的图像进行逐帧优化,比如应用在拍照上做追焦,可以保持在拍照过程里面人脸的清晰度,及手部的动感。相比传统的追焦方式,通过AI图像语义分割技术可自动区分主体和背景,针对主体可精准设定快门参数以确保准确对焦,让抓拍更清晰。联发科未来还会将这些算法应用在摄像部分,希望带给客户更真实的电影视频录像体验,通过分割区域处理和领先的追焦功能使得画面更精准。
不过比较难的是针对视频的处理,因为视频涉及到的数据处理是拍照的数十倍,对于算力的需求会拉高上百倍,同时还会造成系统功耗的问题。这个时候就需要采用区域画质增强技术AI Region PQ,用将一张图切割成四个不同的区块,针对不同的区块进行处理,可将系统算力降低到1/4,导入AI图像语义分割技术,大幅降低系统的算力需求之后,有机会叠加更多的算法,快速提升视频的效果。
三、5G新双通
2021年,联发科在自家旗舰芯片天玑9000上率先推出了双5G双卡双通。标志着自2004年世界上第一台双卡手机诞生以来,双卡技术终于实现了最重要的一次技术突破,从而成功达到了双卡的“终极形态”,即:基于5G的双卡(槽)、双待(机)、双通(联)。双卡技术的核心难点,在于射频系统。手机的通信能力,是依赖基带系统和射频系统(包括天线)共同实现的。简单理解,基带负责信号的处理和加工,而射频负责信号的发送和接收。SoC芯片实现基带的双卡双待和双通,问题不太大。但射频,就很难。以前3G/4G时代,曾经在技术上实现过双通。但是,那是基于“新增一套独立射频系统”实现的。
联发科在没有新增硬件的基础上,通过软件架构改进,对射频资源进行动态分割,模拟出了两套射频系统,可以让卡1、卡2同时使用。简单来说,联发科的5G新双通,是要只用一套基带和射频硬件,就能够实现“动态双车道”软件架构实现5G的新双通。
据介绍,全时双通可实现动态双车道数据传输,支持30种以上的频段组合,分时双通则可实现“下行同时 上行分时”数据传输,可支持70种以上的频段组合。
5G新双通拥有弹性架构、覆盖更广的优势,支持频段组合可达100种以上,并可覆盖更多网络制式,包括SA(SA SA和SA LTE)、NSA(NSA LTE)、LTE(LTE LTE)等。网络性能方面,新双通技术可实现一卡通话,另一张卡畅享低时延、高速率的网络连接。在双卡同频段下,全时双通比分时双通网速快30%以上。
根据实测数据,采用联发科5G新双通技术,当在一卡通话时,另外一张卡在正常的5G网络环境下上网时,实测网速可以高达500Mbps;时延方面,一卡通话,另外一卡在游戏时的时延可以低至50ms。
联发科提出了5G“新双通”三个维度的提升:
第一个是场景,市面上号称双通的产品大多只能支持双卡不断网,算不上完整的双通功能。最起码要同时支持不断网和不漏接。
第二个是频段组合,相比市面上支持SA SA的十多个频段组合,联发科做到了在支持SA、NSA、LTE各种不同的网络制式组合下超过100种频段的组合。
第三个是更快的网速、更低的功耗。联发科拥有业界标杆的UltraSave省电技术,能带来很好的省电功耗体验。
所以说,双卡技术的发展是5G通信中非常重要的一环,联发科的新双通能完整体现双卡技术价值的重中之重,未来几年,新双通将通过持续的技术突破带来更出色的体验提升。
四、Wi-Fi 7
Wi-Fi的标准从2007年的Wi-Fi 4到2013年的Wi-Fi 5,到2019年发布的Wi-Fi 6,乃至于明年即将发布的Wi-Fi 7,每一代都有较大提升。
相比Wi-Fi 6,Wi-Fi 7带来了巨大的性能提升。具体来说,在320MHz频宽、4K QAM、增强MU-MIMO等技术的加持下,Wi-Fi 7的最高理论速率可以达到46 Gbps,是Wi-Fi 6最高理论速率的3倍以上。Wi-Fi 7拥有更高吞吐率、更低网络时延以及更高网络使用效率等新特性。该技术支持先进的 4K QAM (Quadrature Amplitude Modulation) 调变技术,新增 MLO (Multi-Link Operation) 技术可实现链路聚合,且在6GHz 频段支持更高的320MHz带宽。借助MRU (Multiple Resource Unit) 可提升网络使用效率,大幅降低噪音干扰对频段的影响,在多用户负载的网络下可显著提升吞吐率。
Wi-Fi 7目前最核心的特性应该是Multi-link,即MLO了。Multi-link直接的好处实际上是在终端侧,而不是AP侧。其实早在Wi-Fi 7以前,AP侧早就是"Multi-link"的了。MLO技术对于提升时延的稳定性有很大帮助。
此外,Wi-Fi 7还针对网络的资源分配有更高效的管理做法。在多用户或者有干扰、有噪声的环境下,Wi-Fi 7这个技术会达到相当大的体验提升。这是Wi-Fi 7在网络管理上的优势。
从整体来看,Wi-Fi的基建是需要各方面逐步提升的,在任何时间维度下,人们往往看到的都是多标准Wi-Fi同时共存。这也意味着,每一代Wi-Fi的产品和技术都不可避免的需要做到向前兼容,例如联发科如今在做的Wi-Fi 7,也需要能够兼容连接Wi-Fi 4、5、6这些比较旧的标准。
关于Wi-Fi 7会带来的用户体验提升,在联发科认为,主要包括更快、更稳和更高效。所谓的更快,就是在近场短距离的高速传输情况下,Wi-Fi 7可以带来2.7倍的吞吐率,所以在文件分享时会更快速、更方便。所谓更稳,则是在多用户的游戏环境中,Wi-Fi 7可以让时延通过MLO技术大幅降20%。最后是更高效,即网络效率的提升,其解决了环境上有噪声的问题,当通道存在一些排挤或者通道无法使用的情况下,MRU(Multiple Resource Unit)这个技术可以让网络的通道效率大幅拉高,从而更高效。
五、高保真蓝牙音频
如何在无线耳机上也能体验高保真的音频内容体验?
串流音乐服务在整体唱片行业的占比在2021年已经达到65%,预计串流音乐在整体唱片行业的占比还会呈逐年提升的趋势。串流音乐不管是Apple Music或者是Amazon Music HD,目前都已经支持24bit/192KHz音乐格式。因此,越来越的用户希望通过蓝牙无线耳机也能追上有线耳机,体验到24bit/192KHz的高音质内容。
联发科认为,要在无线蓝牙耳机上,通过连接手机体验到24bit/192KHz这样的高保真蓝牙音频,需要在蓝牙技术上解决两项问题,一是拓展高带宽的技术,提升环境的抗干扰能力。对比传统标准蓝牙3Mbps的带宽,需要能够提升到8Mbps的带宽技术。二是需要搭配高清的蓝牙音频编解码器,才能呈现24bit/192KHz音源的内容,所以会需要Hi-Res Audio这种高清的压缩编解码技术,去还原高保真音质。
最重要的是,联发科将建立开放生态圈,适配各大主流的蓝牙芯片平台,解决用户痛点。作为主芯片厂商,会着重于打造蓝牙生态。期望能够跟恒玄、达发等蓝牙芯片商合作,一起来经营蓝牙生态圈,让更多智能手机用户畅享高音质带来的美妙聆听体验。
六、高精度导航
如今的智能手机要实现高精度导航,离不开卫星的支持,因为不是所有的时候都可以通过基站定位。
联发科表示,支持北斗卫星定位是目前智能手机市场的重要趋势之一。并预测支持第三代北斗导航系统 B2b、伽利略定位系统 E5b等新型卫星信号,将会是2023年旗舰手机的标配。
此外,如果遇到一些卫星信号不好的地方,比如隧道中,或者高架桥下、写字楼内等,联发科则可通过手机上的加速器、陀螺仪和磁力计等传感器与全球卫星导航实行融合计算,这种技术叫MPE (MEMS-sensor Positioning Engine),可以带来无缝的导航体验。特别是针对隧道中的汽车导航,可以做到在隧道分岔点也能准确修正导航。联发科也认为,隧道不迷航会是2023年旗舰芯片在高精度导航层面的重要趋势。