机器之心报道
机器之心编辑部
在最新一期超级计算机 Top 500 榜单中,美国劳伦斯利弗莫尔实验室的 Sierra 首次上榜,把神威·太湖之光挤到了第三名。中国在超算竞赛中会有什么动作?最近在美国达拉斯举行的 SC2018 大会上,中山大学教授钱德沛为我们介绍了未来的超算计划。
全球超级计算大会(Supercomputing Conference,简称 SC)是国际超算领域的顶级会议,国际影响力巨大。在这次大会上,清华大学的团队还获得了国际大学生超级计算机竞赛(SC18)的总冠军。
揭秘中国未来超算系统
中国建设超级计算机的核心是,依赖自主技术——从处理器和加速器到互连和软件,而不是求助于国外的供应商。这也是我国领导人的努力和决心,他们旨在将中国的重要产业(包括技术)发展到可以与全球其它国家匹敌的程度。
神威·太湖之光超级计算机就是这种努力之下的成果。该计算机是一个庞大的系统,在全球使用 Linpack 基准的 500 强系统中名列前茅。神威·太湖之光超级计算机安装了 40960 个中国自主研发的「申威 26010」众核处理器,该众核处理器采用 64 位自主申威指令系统,峰值性能为 12.5 亿亿次/秒,持续性能为 9.3 亿亿次/秒。
但随着国家向超级计算机系统迈进,研究这项技术的工程师们不得不权衡以下因素:系统将被如何使用,开发各种组件的预算是多少。而其对自主技术的依赖给自身带来了挑战,包括开发一个生态系统来支持研发,钱德沛在本周达拉斯 SC18 超级计算机大会上表示。
关于美国和中国在超级计算机和 HPC 领域持续竞争的这种讨论,在国际超级计算大会和全球超级计算大会上屡见不鲜。即使在最新版的 500 强名单中,不仅有人关注 Lawrence Livermore 国家实验室的 IBM 超级计算机挤入第二名,而太湖之光掉到第三名;还有很多人关注的是中国超级计算机数量在 500 强系统中的份额增长到了 277,占 45%,而美国下降到 109,占 22%。然而,美国的系统平均水平更加强大,因此其性能占总性能的 38%,而中国占 31%。
这种竞争不仅仅关乎民族骄傲。在超级计算机、HPC,尤其是超级计算(运行越来越复杂的 HPC 工作负载——包括大数据分析和人工智能都需要这种计算)中占领导地位的国家,将在科学研究、军事、医疗保健和经济等领域都占有绝对优势。虽然欧盟和日本都在积极推行其扩展计划,但众所周知,美国和中国正在争夺第一。
演讲时,钱教授告诉与会者,自 2002 年以来,中国一直将高性能计算作为一个重点,现在已经开始努力构建超算系统。
钱教授说:「自 20 世纪 90 年代初以来,HPC 就被确定为中国发展的优先领域之一,在过去的 15 年中,我们就已经实现了三个关键项目。这对于一个国家而言是非同寻常的,因为要在国家高性能计划下连续支持一个领域的关键项目非常难。这也反映了高性能计划的重要性,该项目的结果是催生了一些千兆级的计算机器。」
其中最著名的就是太湖之光和天河 2 号,其中天河 2 号在 2013 年上线,并且在两年前被太湖之光打败,之前一直处于 Top500 的第一。作为挂架超算的基础设施,中国国家电网现在提供超过 200 PFLOP 的共享计算力和 160PB 的共享存储,它为 400 多个应用和服务提供计算支持,服务于 1900 多个用户团体。目前中国国家电网包含两个主站、6 个超算中心、10 个一般站点和一个运营中心。
现在我国正在建立一个百万兆级的系统,它基于构建的三种原型系统:曙光、天河和神威。曙光将使用传统技术,例如 x86 处理器和中国芯片制造商 Hygon 制造的加速器,它会使用多级互联的设计和沉浸式的散热方案,这可以去除对风扇的需求。天河原型将使用新型 16 纳米的 MT-2000 多核处理器(from Matrix),这是一个 3D 蝶形网络,整个系统最多有 4 个 Hop。
神威原型机将使用 SW26010 芯片,这是一种由自研网络芯片驱动的高带宽和高吞吐量网络,它还会使用带有增强型铜质冷却板的水冷系统。一个节点将包含 2 个处理器和四路 DDR4 内存,而一个超节点将包含 256 个节点和全部 256-x-256 的连接。
钱教授表示,需要面对的挑战包括能耗、应用性能、编程能力及恢复力。
「能效是该项目最具挑战性的部分,」他说,「如果没有这个限制,创建超大规模系统就会简单得多。那么我们该如何平衡能耗、性能和编程能力?如何在保持高应用能力的同时支持大范围应用程序?如何提高长期、不间断的应用恢复力呢?」
工程师们正在权衡一些问题,如究竟要创建一个多样的加速系统还是一个可以利用多核结构的系统。他们着眼于一种包含 DRAM 和不易变内存(NVM)的混合内存,将内存放在更靠近处理器的地方。他们还考虑了一种光学互连,通过缩小它的尺寸将其置于更加靠近芯片的位置。就计算机而言,问题是使用专用处理器还是通用处理器。
「超算的应用非常少,所以我们有必要使用一个非常高效的专用架构来支持这些应用吗?」他提出了这样一个问题。「另一方面,中国的机器将安装在通用计算中心,因此不可能只支持少量应用。我们的解决方案是通用与专用相结合。」
中国在系统本身之外也做了一些工作,如升级国家电网,为用户创建一个包含门户网站的服务环境,将站点增加到 19 个并提高带宽。中国正在创建一个应用开发平台和另一个平台,用来促进 HPC 教育、增加人才储备及为其超算系统创建一个应用生态系统。
「由于未来的超算系统将与我国自主研发的处理器一同部署,该生态系统已经成为一个非常关键的问题,」钱教授表示。「我们需要库、编译器、操作系统、支持新处理器的运行时,还需要一些二进制动态转换来执行商业软件。我们需要这些工具来提高性能和能源效率,此外,我们还需要应用开发支持。这是个长期工作。我们需要与业界和终端用户通力合作。」
清华学生超算竞赛团队实现「大满贯」
SC2018 上另一个引人注目的话题是竞赛,11 月 15 日,2018 国际大学生超级计算机竞赛在大会中落下帷幕,来自清华大学计算机系超算团队摘得了总冠军。
至此,在 2018 年三大国际大学生超算竞赛 ASC、ISC 和 SC 中,清华大学超算团队包揽了全部三项竞赛的冠军,实现了继 2015 年后的又一次「大满贯」,这也是清华超算队伍在三大国际超算竞赛中累计获得的第 11 项冠军。
颁奖现场
据清华大学官方微信号介绍,参加本次竞赛的超算团队成员主要由计算机系于纪平、余欣健、何家傲、郑立言、赵成钢和交叉信息院娄晨耀 6 名本科生组成,由清华高性能计算所研究生曹焕琦、冯冠宇和王邈担任技术支持。指导教师为计算机系副教授翟季冬和博士后韩文弢。
作为 SC2018 大会的重要组成部分,本次比赛也是超级计算机领域的顶级赛事,每年都能吸引到全球各个国家和地区的众多高校参与。本次竞赛共有来自全球 15 所高校的本科大学生组队参赛,清华大学作为唯一一所内地高校参赛。
本次比赛要求参赛队伍在总功率 3000 瓦的限制条件下,自行搭建计算集群并在集群系统上进行 6 个应用程序的性能对比。在 48 小时的竞赛中完成超算集群的性能基本测试 HPL 和 HPCG、大规模机器学习、核裂变链式反应的稳态求解与模拟、论文复现——特大地震模拟等内容。
另外,参赛队伍还需在比赛中向评委介绍自己优化的应用和正在进行的软件优化设计,并在 48 小时内完成一篇在国际权威杂志具有发表能力的英文论文。
最终,清华团队在 6 个应用上取得领先,得分 88.398 分,领先第二名新加坡南洋理工大学 11.518 分。以大比分优势成为了今年 SC18 的总冠军。比赛的另外一个奖项——最高 LINPACK 奖由新加坡南洋理工大学获得。
参考内容:
https://www.nextplatform.com/2018/11/15/china-navigating-the-homegrown-waters-for-exascale/
https://mp.weixin.qq.com/s/iW_AEAE—pn1iuYAjltvNA
本文为机器之心报道,转载请联系本公众号获得授权。