经过半年多的激烈角逐后,首届昇腾AI创新大赛正式收官。
作为面向AI开发者打造的顶级赛事,昇腾AI创新大赛分为两个赛道:一个是面向行业场景进行应用创新的应用赛道,意在推动人工智能的产业落地;另一个是基于昇思进行算法、前沿任务创新的昇思赛道,瞄准了人工智能的前沿课题。
在产业智能化的浪潮下,和AI相关的赛事早已不胜枚举,最大的意义莫过于吸引各行各业的开发者,并借助比赛来放大品牌影响力。1560个队伍参与的首届昇腾AI创新大赛,却让外界看到了另一种可能:AI创新大赛既是对前沿技术的创新、探索与实践,也是一个不断“掘金”的过程。
比如应用赛道涌现出了不少优秀的创业团队,在区域市场被验证的解决方案,有望在全国范围内推广复制。昇思赛道则印证了另一种可能:冲在AI最前沿的不只有著作等身的学术大牛,还有很多好学不倦的“后浪”。
01 “浙大学霸”与社区资深布道师
昇腾AI创新大赛昇思赛道最终评选出的金奖选手中,有一个年轻的新面孔——正在浙江大学控制科学与工程学院读研究生的项靖阳。
在许多人的认知里,“研一”阶段属于人生的“迷茫期”,白天按部就班地学习专业课程,然后在业余时间读几篇专业文献,目的是熟悉自己的课题方向。至于论文、比赛什么的,还不在当前计划的范围内。
项靖阳可以说是妥妥的“少数派”。
早在大二的时候,项靖阳就在学院老师的指导下进了实验室,跟着研究生师兄师姐做一些科研课题、参加一些开发者赛事。那时候“人工智能”的概念如火如荼,项靖阳和很多年轻人一样,对新事物有着无限兴趣,并在实验室师兄的带领下接触到了刚刚宣布开源的昇思MindSpore,做了自己的第一个算法模型。
大二以后的日子里,项靖阳把大部分业余时间花在了科研上。其他同学忙于人际交往、娱乐消遣、实习工作时,项靖阳的生活却是实验室、宿舍与食堂间的“三点一线”。按照他的话说:“科研更像是表面枯燥乏味,但内里的乐趣是无穷的。”其中的乐趣,似乎来自于项靖阳的自学能力,平时上课中有不理解的知识点,他会主动到B站和MOOC看学习视频,比如专业课中考试难度很大的《自动控制原理》。
这种源自内心深处的探索欲,让项靖阳有了一个新身份——昇思MindSpore社区里的资深布道师。
按照昇思MindSpore社区的官方介绍,“资深布道师”的门槛相当严格,至少发布过5篇昇思MindSpore相关原创优质技术文章,且平均阅读量不低于5000;至少在昇思MindSpore开源社区主导过1个特性级开发;至少举办过1场或参加过3场线上/线下昇思MindSpore技术分享;同时需要是社区特邀的行业资深人士。
据项靖阳同学回忆:“刚接触昇思MindSpore时还是一个AI新手,但在社区里遇到了很多师兄师姐,在他们的帮助下慢慢了解了AI框架。然后自己开始做模型和算子,在社区里回答别人的问题,有空的时候在知乎、CSDN等平台上写一些技术博客,一步一步成为了社区里的资深布道师。”
昇腾AI创新大赛的消息在昇思MindSpore社区公布后,项靖阳第一时间选择报名参赛,让他没想到的是:报名的时候还是一位忙毕设的大四学生,利用暑假的空隙做了自己感兴趣的三道赛题,等到昇腾AI创新大赛收官时,项靖阳已经是浙江大学控制科学与工程学院的研一学生,找到了“深度学习模型压缩”的研究方向。
02 超越论文精度,靠“硬实力”出圈
别人眼中的项靖阳,或许只是个“初出茅庐”的研一学生。可在昇思MindSpore社区里,项靖阳已然是一位精通深度学习模型“老鸟”。
似乎有必要重温下昇思赛道的赛制:主办方通过筛选热门论文、前沿创新任务设置了30道赛题,主要来自CVPR、ICCV、ACL、ICML、NIPS等AI顶会过去几年里的热门模型,参数选手可以选择一个或多个任务,基于鹏城“云脑2”环境进行挑战,提交算法达到指定精度或要求即可视为完成。
“艺高人胆大”的项靖阳挑战了三个任务。
第一个任务是“利用昇思MindSpore实现Swin Transformer V2图像分类网络”,来自于微软亚洲研究院在CVPR发表的论文《Scaling Up Capacity and Resolution》。原作者将Swin Transformer缩放到30亿个参数,使其能够使用高达1536×1536分辨率的图像进行训练,提高了大视觉模型的稳定性,降低了预训练和微调之间的分辨率差距,并让常规GPU训练大型视觉模型成为可能。
第二个任务是“利用昇思MindSpore实现conformer图像分类网络”,源于国科大在ICCV上发表的优秀论文,将Transformer和CNN进行融合并提出了全新的Conformer模型,可以在不显著增加计算量的前提下显著提升基网表征能力。
第三个任务是“利用昇思MindSpore实现Big Transfer图像分类网络”,Google于2020年在ECCV上发表的论文,作者重新审视了预训练 微调的范式,先在一个大规模标记数据集上进行预训练,然后对目标任务上的每个训练权重进行精调任务,最终减少了目标任务所需的数据量和优化时间。
项靖阳花了近一个月的时间对原论文进行学习,理解原作者的提出的方法,对三道赛题间的共性进行分析,总结出了一套利用昇思MindSpore进行模型迁移、论文复现、精度与性能调优的工作流程。
特别是在论文复现的过程中,项靖阳针对Ascend 910进行了混合精度配置、算子层面的模型性能调优等工作,针对昇思MindSpore整图设计的理念,花了很长时间对训练、推理的整体模板进行适配;遇到一些精度模型无法达标的情况,就参考其他论文和方法,并利用数据增强、正则化等方式进一步促进模型的训练和收敛流程。
最终Swin Transformer V2、Conformer和Big Transfer均入围前三名,达到了超越原论文精度的效果。
正是对科研的激情和热爱,项靖阳同学在内的年轻人彻底 “征服”了现场的评委们。鹏城实验室开源主管邓清毫不吝啬的评价道:“在昇思赛道与各个高校的同学的日常对接中,能感觉到这些选手是真正的热衷于人工智能科研的莘莘学子,深切地感受到了他们的能力,也很欣慰有这么多优秀的年轻学者开源开放的生态里努力、进步和学习。”
03 “学练训赛”的人才培养新路径
像项靖阳这样优秀的年轻人,在昇思MindSpore社区中还有很多,他们从“小白”到“高手”的成长曲线,无疑比赛事本身更值得探讨。
正如高盛在《全球人工智能产业布局》中的预测,2030年时中国的人工智能人才缺口将超过500万人。想要在不到10年时间里填补500万的人才缺口,强化本科教育和产学研联合人才培养,业已成为社会上下的共识。
昇腾AI创新大赛的另一初衷恰在于此。
简单回顾项靖阳同学的成长经历,可以清晰地划分为四个阶段:第一个阶段是学,在学校学习编程及AI相关的基础知识;第二个阶段是练,不管是跟着师兄做科研,还是在昇思MindSpore社区中做模型,都是练的过程;第三个阶段是训,譬如在昇思MindSpore社区中主导的特性级开发;第四个阶段是赛,典型的案例就是昇腾AI创新大赛,为项靖阳在内的同学提供了学为所用的舞台。
传统的产学研培养方案,往往集中在学和练两个环节,昇思MindSpore社区和昇腾参与的一系列赛事,打通了学、练、训、赛四个环节,跑出了AI人才培养新路径。尤为值得一提的是,昇腾AI创新大赛昇思赛道将近几年的优秀论文和前沿课题作为赛题,其实隐藏着“以赛促研”的初衷。
想要“复现论文”,首先要做的就是对论文的“精读”,理解原作者提出的方法,可能涉及数据预处理技术、神经网络架构、训练技巧和处理等内容;在实验的过程中,通常包含有关数据集、训练和评估的详细信息、模型在各种参数下的表现,甚至需要与其他论文中的最新方法进行比较,将论文中的参考文献通读一遍……
如果是时间比较久远的“经典论文”,或许可以找到不少教程,复制粘贴过来就可能跑通。近几年的新论文,意味着可以找到的参考资料并不多,想要将论文复现,既要读懂、吃透论文中的精髓,还要有强大的学习能力、自驱力和工程能力,这也是想要自己发表论文时的必备技能。
就像项靖阳同学的例子,参赛时选择的三个赛题都和图像分类相关,和他选择的研究方向有很大关系。目前项靖阳正在准备自己的论文,昇腾AI创新大赛的参赛经历,虽然只花了一个半月的时间,但与计算机视觉领域的前沿研究进行了一场“深度沟通”,进一步夯实了他的科研之路。
再来思考昇腾AI创新大赛的价值,所筹谋的远不止打造一场顶级赛事,还在帮助开发者推开一扇新的大门:通过学、练、训、赛一体化的赛制,吸引越来越多像靖阳这样的“后浪”接触AI、认识AI、拥抱AI,不断为中国的AI人才培养孕育“火种”。
04 写在最后
产业智能化浪潮的演进,需要源源不断的人才输入。
在这样的共识下,正有越来越的科技企业参与到AI人才培养中,产学研的人才机制越发完善与成熟。同时需要思考的是,人才的能力和视野,直接决定着智能化转型的深度和高度,左右着中国在全球智能化竞赛中的竞争力,为莘莘学子们提供一条走在最前沿的成长路径,不可谓不重要。
昇腾AI创新大赛独立设置昇思赛道,俨然洞察到了时代的新趋势,而“后浪”们的崛起已然印证了昇腾的前瞻性。