企业是否需要高性能计算?

2019-10-15 15:07:23 浏览数 (1)

随着成本的下降和用例的增加,高性能计算正在吸引各种类型和各种规模的新用户。其扩展选项包括基于超级计算机的高性能计算(HPC)系统、基于集群的高性能计算(HPC)以及基于云计算的高性能计算(HPC)服务。

在当今数据驱动的世界中,高性能计算(HPC)成为组织的首选平台,很多组织希望深入了解基因组学、计算化学、财务风险建模、地震成像等领域。最初由需要执行复杂数学计算的研究科学家所采用,高性能计算(HPC)现在引起了各个领域组织和企业的关注。

高性能计算(HPC)数据存储系统Panasas公司系统工程总监Dale Brantly说,“我们依靠数据的收集、分析、分发而蓬勃发展的环境,并依靠可靠的高性能计算(HPC)来支持具有强大计算能力的简化工作流程。”

虽然中小型企业采用高性能计算(HPC)技术仍然相对较少,但对于愿意投资于这种技术和专业知识的组织来说,高性能计算(HPC)具有巨大的潜力。

通常,高性能计算(HPC)用例专注于某种类型的仿真。谷歌云首席技术官办公室高性能计算(HPC)和量子计算技术总监Kevin Kissell说:“高性能计算(HPC)可以模拟机翼上的气流、发动机燃烧、行星气象系统、核反应,以及投资组合的估值。”其他用例则以分析为目的,例如统计广告投资回报率或评估业务部门的绩效。仍然可以将其他用例归类为翻译或转换。他说:“就像视频的渲染一样。”

无需超级计算机的高性能计算

许多企业和IT领导者都误以为高性能计算(HPC)系统都是基于超级计算机的。实际上,虽然由Atos、IBM、HPE、Cray和Fujitsu等公司生产的超级计算机是众多专用高性能计算(HPC)系统的核心,但一种更广泛使用的方法是将多台小型计算机集成到互连的集群中以提供高性能计算(HPC)功能。在这种安排下,集群中的每台计算机都充当节点。每个节点通常配备有多个处理器(称之为计算核心)用于处理计算任务。每个节点内的处理器、图形处理单元(GPU)和内存资源相互连接以创建高性能计算(HPC)系统。

由于采购和运行超级计算机及其定制软件的成本高达数百万美元,其成本远远超出了大多数企业的财务承受能力。使用运行现成软件的相对便宜的互连计算机,集群型高性能计算(HPC)通常更易于部署和运行。尽管如此,对于大多数企业来说,即使是规模适中的基于集群的高性能计算(HPC)都是一笔巨大的投资,尤其是那些高性能计算(HPC)需求有限的企业。

现在这种情况正在改变。希望在不破坏IT预算的情况下获得高性能计算(HPC)访问权限的企业现在可以选择使用公共云服务,例如谷歌云、Microsoft Azure、AWS和IBM Cloud。

数字服务和软件工程商Ciklum公司的.NET技术负责人Maksym Pavlov说,“这些服务使企业能够访问高性能计算(HPC)功能来满足其业务需求,而无需大量投资高性能计算(HPC)集群的硬件基础设施。”IBM公司云计算的副总裁David Turek补充,“云计算的出现在一定程度上平衡了小公司和大公司之间的竞争环境。”

从高性能计算(HPC)集群迁移到云计算高性能计算(HPC)

北卡罗来纳大学教堂山分校(UNC-Chapel Hill)长期以来一直依靠其本地高性能计算(HPC)集群来支持多个科学、工程和医学领域的研究活动。然而,随着研究计算需求的持续增长,用户需求开始超过当前系统的计算资源和容量。该大学并没有增加现有的高性能计算(HPC)投资,而是决定采用云计算技术提供按需的高性能计算(HPC)环境。

实践证明,该方法既具有成本效益,又具有高度灵活性。北卡罗来纳大学教堂山分校首席信息官Michael Barker表示,“采用云计算,我们就可以提供完成所要求工作所需的计算工作。这是一种满足运行计算工作的需求非常有效的方式。”

该校高级研究助理Jeff Roach说,高性能计算(HPC)向云端迁移既是必要的,也是受欢迎的。他说,“我们有一个非常传统的本地集群。然而随着时间的推移,该系统逐渐无法跟上越来越多的需要领先计算能力和更快性能的用户的步伐。我们发现,本地集群对于设计该集群的人员确实非常有效,但是他们的一些案例正变得越来越少。”

随着需要计算的用例迅速成为规范,北卡罗来纳大学教堂山分校开始与谷歌云以及仿真和分析软件提供商Techila科技公司合作,以规划其进入云计算高性能计算(HPC)的旅程。

其规划之后的第一步是概念评估的证明。Roach说:“我们在校园里聘用了一位研究人员,他当时采用配备大量内存的设备进行交互式计算,我们试图帮助完成他的工作量。”他指出这获得很大成功。他说,“这名研究人员很快完成了工作,并且非常喜欢采用,这是因为,相同的任务在大学的高性能计算(HPC)本地集群上运行可能要花费一周的时间才能完成,而他采用云计算高性能计算(HPC)只用了几个小时就可以完成。”

英国约克大学也在研究中采用了基于云计算的高性能计算(HPC)方法。英国皇家学会行业研究员、约克大学生物系教授James Chong指出,高性能计算(HPC)可以应用在生物学、物理、化学和计算机科学等科学系以及语言学和其他几个学科的研究工作。

Chong所在的研究部门目前正在使用谷歌云平台分析DNA序列数据。他解释说:“我的团队对微生物群感兴趣,这些微生物群涉及将废物(在本例中为污水和污泥)转化为沼气的混合微生物。我们使用高性能计算(HPC)将短小的DNA序列一起组合为一个基因组,然后分离出不同微生物的基因组,以便我们能够了解这些生物如何响应其生长条件的变化。”

就像北卡罗来纳大学教堂山分校的研究人员一样,Chong对高性能计算(HPC)云计算服务可以提供的强大功能和灵活性表示赞赏。他说:“我们的高性能计算需要满足一系列要求,有些用户希望采用大量的处理器,而其他用户则需要采用高内存。作为生物学家,我们使用的一些应用程序很快就会绑定到I/O,因此通过超高速磁盘访问也很有用。”

约克大学使用的云计算高性能计算(HPC)还具有适应不断变化的需求的能力。Chong指出,“我们中的许多人开始使用机器学习技术,并希望能够利用不同的体系结构。约克大学的广泛用户意味着我们还需要访问一系列不同的软件包。”与大多数云计算高性能计算(HPC)一样,约克大学使用的服务允许各种类型的研究人员轻松快速地在软件工具之间切换,而不会将时间浪费在获取、部署或配置问题上。

配备超级计算机的高性能计算(HPC)

尽管云计算高性能计算(HPC)服务具有某些优势,但对于关注安全性和隐私的企业而言,它并不总是最佳或最合乎逻辑的选择。Turek指出:“数据存放位置非常敏感。特别是当受到欧洲的GDPR法规限制时。”通用数据保护条例(GDPR)是欧盟发布的隐私法规。

为了解决隐私问题和对强大计算能力的需求,迈阿密大学最近选择投资于基于本地的超级计算机的高性能计算(HPC)系统。最关键的是,该大学认为,拥有大量多维数据集的研究项目可以在专门设计的高性能超级计算机上运行得更快。

去年8月,迈阿密大学推出了基于Power Systems AC922服务器的新型IBM Triton超级计算机。迈阿密大学计算科学中心主任、数据和研究计算副教务长Nicholas Tsinoremas指出,已有2000多名学生和教员使用该系统从事气候预测、基因组学、生物信息学、计算机视觉和人工智能等项目。

其部署虽然成功,但在初期却遇到了一些障碍,几乎所有采用高性能计算(HPC)的用户都能遇到这种情况,无论其规模、领域或计算需求如何。Tsinoremas说,“迁移问题始终是一个问题,还必须解决用户培训和再培训问题。新系统与传统存储系统的集成是另一个挑战。”

所有这些问题都凸显了一个事实,即高性能计算(HPC)系统是基于内部部署还是基于云计算,其采用需要大量的计划和准备。Tsinoremas警告说,“企业具有专业知识是必要的,并且必须有一个计划。了解工作负载的性质和要求也很重要。换句话说,采用者需要了解他们试图解决的问题以及希望高性能计算(HPC)如何帮助解决这些问题。”

高性能计算(HPC)工作负载入门另一个要点是选择正确的资源管理工具,该工具使组织能够访问和优化高性能计算(HPC)环境。Altair公司高级产品管理主管Jérémie Bourdoncle说,“无论是购买传统的高性能计算(HPC)硬件环境,还是利用云中的高性能计算(HPC)或同时使用这两者,选择最适合组织的工作类型和吞吐量要求的高性能计算(HPC)工作负载管理器都是至关重要的。”Altair公司是一家模拟软件和其他与HPC相关的供应商工具和服务,其工作负载管理器具有自动化作业调度以及管理、监视和报告功能。

Kissell建议采用一种注重知识、简单、选择和谨慎的采纳策略。他说,“这可能是一段漫长的旅程,因此需要规划行程,但要给自己机会进行调整。组织需要选择一个简单但具有代表性的测试用例,并且可以清楚地识别从高性能计算(HPC)仿真或分析中获得的知识和见解。然后选择针对自己的问题类别设计的软件包的简短列表,并进行更多的尝试。”

0 人点赞