鱼羊 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI
盆友们,骁龙,已经不再是以前那个骁龙了。
就在大家吃瓜安卓新旗舰芯片谁家首发之际,骁龙峰会的绝对主角,却只差没把“时代变了”写在脸上:
先是第一天直接挤爆AI牙膏管,第二代骁龙8连ISP、5G调制解调器都武装上了神经网络。
紧接着第二天,干脆从手机端进一步腾开手去,就差没告诉围观群众:
XR也是我高通押注的下一代移动终端。
这不,直接引爆了一波有关“2023是AR眼镜元年”的讨论。
从这种种迹象来看,骁龙,乃至背后的整个高通,步调更好,速度更快。
这样的变化,意味着什么?又有哪些信息点值得科技发烧友和行业观察者们关注了解?
其表其里,咱们一分为三,细细拆解来看。
骁龙三变
“一变”
骁龙第一变,还是要从最引人瞩目的第二代骁龙8说起。
围绕这颗安卓旗舰最强“心脏”,官方剑指何处已经完全明示:几乎是三句话不离AI。
换句话说,以往在幕后暗自发力的AI,如今不仅走向台前,还成了全场毋庸置疑的第一主角。
先是在“基础设施”层面上,高通AI引擎的核心Hexagon处理器架构全新升级,打出一套AI加速组合拳:
激活函数加速 分组卷积加速 张量加速器性能翻番。
还引入了微切片推理,并为这一核心处理器配备了专门的供电系统。
这使得第二代骁龙8相较于前代产品,在自然语言处理等场景下,AI性能提升了4.35倍。
提升AI加速器的数量和性能之外,第二代骁龙8也率先支持了INT4 AI精度格式。
这就带来了持续AI推理方面60%的能效提升:
相比于浮点精度格式和INT 8,以INT 4精度格式运行的AI模型,所需的计算资源更少。这为开发人员们在手机里部署更多量化模型提供了硬件基础。
值得关注的是,在第二代骁龙8里,不仅是以上AI“基础设施”全面升级,连ISP和5G调制解调器这样的模块,如今都跟AI更深度的绑定了。
第二代骁龙8搭载的业界首个认知ISP,这回跟Hexagon处理器来了个直接连通,通过在两者之间增加一个名为“Hexagon直连”的物理连接,提供更加强大的影像AI处理能力。
基于此,第二代骁龙8能通过实时语义分割,实现照片和视频的自动增强。摄像头捕捉到的人脸、头发、衣服、天空等种种画面细节,都能被针对性地优化处理。
至于手机芯片中最“传统”的调制解调器部分,骁龙此番也强调了首个5G AI处理器的作用:通过分析信号完整性和信噪比,AI能够改善无线带宽、延迟等性能指标。
加之对Transformer等网络的支持,又将语音自定义唤醒词、快速多语种翻译等软件能力带到了手机芯片上,可以说,单从手机芯片的变化来看,骁龙这波操作,是把“无AI不芯片”的趋势再度推向了高潮。
这股AI爆发之风,也并不仅限于手机芯片。
“二变”
这就要说到骁龙第二变:押注下一代移动终端。万物连接的移动设备种类,正在突破此前的局限。
此番引发外界不少讨论的第一代骁龙AR2平台就是一个例证。
第一代骁龙AR2,是骁龙首个专门为头戴式AR设备打造的移动平台。
目的很明确:成为新一代最强轻薄AR智能眼镜的“智能大脑”,开创真实世界与元宇宙相互融合的空间计算新体验。
具体到功能特性上,一方面,是解决AR眼镜重量、时延等固有问题:
采用分布式处理架构,实现更均匀的配重并降低左右眼镜腿宽度;动态将时延敏感型感知数据处理直接分配给眼镜终端,把更复杂的数据处理需求分流到手机、PC或其他主机终端上。
另一方面,依然是以人工智能为核心,提升AR眼镜所带来的实际产品体验:
其AR处理器中,搭载了专门的视觉分析引擎,结合ISP和Hexagon处理器,能在图像识别、分类和手部跟踪等AI算法上实现2.5倍加速。
根据高通官方消息,目前,PICO、联想、小米、Nreal、OPPO和LG等厂商,都是骁龙AR的合作对象。
并且在AR的应用生态方面,高通也已有所布局:比如与《宝可梦GO》的制作方Niantic携手,推出AR眼镜版的增强现实游戏。
值得一提的是,这样设备边界上的突破,以AR为典型代表,却同样不止于AR。
从高通与微软的最新合作计划中亦可见一斑:基于骁龙平台,高通将高通AI引擎引入Windows 11,以实现笔记本上语音、图像处理等功能的AI加速,同时促进智能手机和PC的融合。
说了这么多,归结起来,第一变可以说是AI能力的加速爆发,第二变是突破边界的万物互联,在这两者的基础之上,骁龙,乃至背后高通布局重心之变,也就愈发明朗。
“三变”
即,骁龙第三变,就是连接到智能计算的改变,进一步说,也就是高通提及的“网联计算”。
人们从前讨论移动设备,更多聚焦于手机,讨论的是信号是否更好了、网速是否更快了。
但现在,在通信、连接的基础之上,人们关心的重点,已经变成了什么样的智能功能更好用,哪家对游戏等应用的智能加速效果更强劲。
甚至在这样的讨论之中,手机已经不是唯一的主角,下一代计算平台的价值开始获得更多关注和认同。
对于高通这样的厂商而言,这一方面可以归结为时代技术浪潮之所至,另一方面,也是其本身“春江水暖鸭先知”,早期技术厚积薄发的体现。
量变到质变的奇点,厚积薄发的AI脉络
事物的变化,往往由量变引发质变。
高通之变并非在这次骁龙峰会上才有所体现,其AI革新脉络从更早时候便已有端倪可循。
2007年高通启动第一个脉冲神经网络相关的研究项目,依托于生物神经元设计,目的是让神经网络构造更高效节能,同时在架构上更适配硬件工作原理。
针对脉冲神经网络等AI领域的研究,在2013年正式转变成更具体的成果。
这一年,高通提出了Zeroth计算平台,希望能用AI处理图像、声音等信息,如开发语音识别功能等,如今来看相当于NPU以及其搭载的神经网络计算能力的平台。
△2013年搭载Zeroth的机器人训练,图源高通
当年,高通这项名为神经形态芯片 (Neuromorphic Chips)的技术,被认为是颠覆性的突破,并于2014年被MIT Technology Review评选为全球十大突破技术之一。
Zeroth奠定了高通AI引擎(AI Engine)的基础。2015年,骁龙820正式搭载第一代AI引擎,除了能用于人脸照片检测和手写识别以外,高通还展示了它能被应用于降低功耗、提升电池使用时长的能力。
随着对AI研究进一步深入,高通钻研的方向不再局限于硬件计算本身,同样还放在了移动设备功能的丰富度,即算法和硬件的协调能力上,力图让更多已实现的AI算法落地到移动设备中去。
从最初为各硬件引入AI技术加大研发力度,到如今AI引擎已经成为高通芯片的标志之一,究竟是什么引发了高通的质变?
可以说,自身技术积淀和场景需求爆发,成为了引发高通变化的两大关键节点。
从技术维度来看,高通经历了由AI技术“引入者”到AI基础设施“提供者”的转变。
一方面表现在对AI框架的支持度上,包括与谷歌、脸书AI合作,对TensorFlow、Caffe2等AI框架进行加速;以及与微软、亚马逊合作支持ONNX等AI模型格式等。
另一方面,则体现在各种AI算法的研发和开源上,从这些年的顶会论文数量可见一斑。
如果从2011年开始在计算机顶级学术会议上发表论文算起,现在其能够查阅到的已经有不下130篇AI研究发表在各种顶会上,今年一年就接近30篇:
观察这些论文类型可以发现,其研究领域从机器学习基础的量子、几何和贝叶斯深度学习,到降低能耗的量化模型、提升信号强度的优化算法和AI编译器,再到应用范围更广的计算机视觉、联邦学习和强化学习等,开源的案例就有不少。
这些研究放到AI基础设施的搭建上,又进一步被分为基础架构和应用设施等维度。
基础架构上,提升硬件处理AI算法的数量和性能,让更多厂商开发的AI算法能被应用于更小的设备上,结合云端提供的算力,进一步让终端设备实现的功能范围最大化,这里又以软硬件配合方面的量化等算法应用更为广泛。
应用设施上,即加强高通AI基建的模块化能力。除了侧重软硬件协同处理外,从今年发表的顶会论文情况来看,又有相当一部分集中在视频语义分割、3D姿态估计等更通用的计算机视觉任务上。
但无论是提升算法在硬件平台上的适配能力,还是提升算法本身的性能、包括数据压缩能力,本质上都与增强移动平台对AI的“掌控力”紧密相关。
换而言之,高通实现了从各大模块支持AI、到AI驱动各个模块的转变,让自身AI能力进一步具备了应用到更多设备上的通用性——
从场景维度来看,高通所连接的也不再仅仅是手机,而早已扩大到PC、智能汽车乃至XR等平台中。
如这些年加大力度投入的智能汽车方向,与手机一样也同样是视频语义分割技术的应用领域之一。
在智能驾驶上,高通此前就已经推出过开源的InverseForm框架,在复杂道路区分与检测上表现出更好的性能,无需担心汽车再开到绿化带、或是带阴影的人行道上。
基于AI技术打造的骁龙座舱平台和骁龙智能驾驶平台(Snapdragon Ride),更是颇为“抢手”,一度成为车圈叫好叫座的宣传词之一。
又如早在数年前就已有布局的XR方向,高通基于这一平台的高效低耗要求,于2019年推出了骁龙XR2平台,也是首款将5G和AI结合的XR芯片。
相比手机,XR设备带来的更好的虚拟与现实世界的交互性,又能给AI落地带来新的思路,例如平台上搭载的场景理解、3D重建等技术,就是基于XR自身特性延展的。
不久前推出的第一代骁龙XR2 平台,则引入了全新图像处理管线,不仅支持并行感知技术,包括头部、手势和手柄追踪、低时延视频透视等能力,其PC级虚拟景观还能为虚拟人物赋予更逼真的面部表情。
移动PC领域,高通也在尝试用AI来提升移动办公的生产效率。
如召开远程会议时,设备可以准确感知到主体的面部,即便是在人口嘈杂的街边咖啡店也可以实现精准聚焦,周围的路人也就不会出现在会议上。
如此说来,高通早已不只是手机芯片厂商,其所提供的技术早已经延伸到了智能汽车、PC、XR等平台……一系列你能想到的IoT设备,都已经被连接到高通以芯片为基、以AI软件栈为脉络搭建的网络之中。
作为一个专门给AI开发者打造的“工具箱”,高通AI软件栈进一步将汽车、手机、PC和XR等设备之间开发的应用从软件端打通,从而将硬件终端的优势进一步扩大,实现一次开发、跨终端部署。
随着AI开发部署的效率提升,作用的终端范围扩大,行业智能化速度也会迎来指数性增长。
由上来看,在临近质变前夕,高通就已经在量变的路上走了很久。
如今恰好赶上新一轮“万物互联”时代的智能爆发,高通以预见性的储备提前布局了新一轮技术浪潮,甚至还可能成为推动下一代计算终端变革的动力。
与其以“急”字解释高通之变,不如说是时代技术洪流之所向。而高通也早早把握住了航向,在关键时机有了点燃技术新爆点的底气。
质变如何复制?
高通质变,只是整个行业巨变的一个缩影。
从工农业、城市交通、医疗生活等各行各业,到智能汽车、IoT、XR等细分领域,现今都在计算和连接方式变化的推动下产生新一轮技术更迭。
在这背后,正是AI这一底层技术驱动,所引发的由点到线及面的幂集创新,其中高通又以芯片为基,将AI技术完整搭载成一套引擎、成为行业方方面面的驱动力。
但如果换个角度来看,像高通这样的质变,是否还会在更多领域出现?又或者说,高通这样的质变是否还能“复制”?
从芯片等方向选择角度来看或许难以复制,但核心思路却有几点可以借鉴。
一方面是抓住最基础的技术进行研发,并拥有迅速落地、进而降本增效的能力,另一方面则是基于自身生态型的作用力,将技术影响扩大到千行百业中去,与更多厂商合作开发出更广阔的市场。
以移动场景为例,如果过去以手机延展出的功能应用,只是数以百计的垂直软件生态;
来到网联计算时代,以AI为核心、5G为连接动力、芯片为计算基础的终端设备,将会再度带来数以百计的横向产业拓展,进而带来数以千万计的开发者生态与企业机遇。
这或许也是高通并不局限于手机场景,而是选择提前布局下一代移动设备的原因。
从此前发布的高通AI软件栈等“基础设施”,到高通在这次骁龙峰会上展示的各行各业合作案例,它们本质上都在体现高通的AI技术已经深入这些行业中,赋能产品、并给行业带来根本性的变革。
参考链接: [1]https://www.technologyreview.com/technology/neuromorphic-chips/ [2]https://www.scoop.it/topic/amazing-science/p/4023296590/2014/06/20/mit-ranking-of-10-new-breakthrough-technologies-in-2014 [3]https://www.youtube.com/watch?v=8c1Noq2K96c
— 完 —