存放海量数据太费钱?科学家们找到了新方法

2022-08-30 13:46:53 浏览数 (2)

这些年在科学界,国际顶级机构一直在做着同一件事,那就是为他们持续增长的海量数据找到价格更便宜的存身之处。现在,他们中的一些说:找到了。

由于已经受益于此,在他们的合作伙伴希捷把这个“秘密”——CORTX,一款独立于硬件的100%开源对象存储软件——推向市场的时候,这些机构很乐意地站了出来,并对它表达了赞赏。

法国原子能和替代能源委员会(CEA)和英国原子能机构(UKAEA)都是CORTX未发布前,就已经采用了它的早期用户。

CEA项目经理Jacques-Charles Lafoucriere,和UKAEA的百万兆级算法专家Debasmita Samadder博士用“强大”、“灵活”、“高效”和“新颖”等词汇去描述了他们眼中的CORTX。

这些机构用它来支持超大规模的数据存储,实现并行文件系统接口(pNFS)和分层存储管理工具等。

兼容TensorFlow等人工智能和深度学习 (AI/DL) 工具也是他们的关注点——这些国际顶级机构永远都会站在科技的最前沿。事实上,CORTX的用例非常广泛,除人工智能和机器学习,还包括了混合云、边缘、高性能计算等领域。

那些机构负责人对CORTX的高度赞赏有着很高的可信度,因为这些机构中的一些已经不满足于仅仅是去使用它了。

“CORTX将降低EB级数据的存储成本。”洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)高性能计算部门负责人Gary Grider断言。他们已经决定参与到CORTX协作开源社区中去。目前,CORTX已经可从GitHub下载,以及协作开发。

希捷科技全球副总裁暨中国区总裁孙丹:通过生态协作,CORTX将使超大规模存储架构更为普及。

除了用户,整个科技生态对CORTX的兴趣也都相当浓厚。

英特尔很清楚开源创新在高性能存储领域的价值。英特尔数据平台事业部副总裁Bryan Jorgensen认为,它将推高未来数据时代中云、高性能计算、人工智能和通信网络等的性能水平。

目前英特尔已计划在CORTX社区内结合相关的平台功能,包括英特尔傲腾持久内存、英特尔QuickAssist加速器,和DAOS文件系统,以共同实现和优化这一开源技术。

全球知名的文件系统提供商WekaIO也表达了同样的意愿。WekaIO人工智能和战略联盟负责人Shailesh Manjrekar描绘了一个未来——在参与到CORTX开源项目开发中后,市场将可以利用创新的Weka AI解决方案框架,创建端到端解决方案:通过WekaFS提供卓越性能,而CORTX提供容量和耐用性。

在中国市场,目前已有8家希捷的客户以及合作伙伴——新华三集团、同有科技、宏杉科技、UIT创新科、五舟科技、鲸鲨软件、极道科技以及柏科数据等,决定将就CORTX开源软件与开源社区与希捷展开合作。

这个开源社区是在希捷发布CORTX时一同发布的。同时发布的还有一个可作为融合基础架构部署的参考架构Lyve Drive Rack。

这个参考架构可以让用户部署CORTX并构建自己的大容量私有云——Lyve Drive Rack的机箱容量由1.34PB起。希捷在Datasphere峰会上展示它时,它的盘位上插满了20TB HAMR硬盘。希捷消息称,这款大容量硬盘计划在12月开始供货。

这是希捷布局开源对象存储软件的目的之一。大容量硬盘已经为云服务商降低了成本,但它远没有到普及到程度。

受限于软件实力,并不是每个想要用好海量数据的企业用户,都能享受到它的好处——硬盘容量越大,I/O性能就会下降,这需要用户有一定的优化能力对系统进行调优。

“谷歌、百度和腾讯等互联网和云计算企业,会第一时间使用我们的大容量硬盘,”希捷科技全球副总裁暨中国区总裁孙丹说,“因为他们通过采用大容量硬盘获得了商业价值。”

要知道,当今天的云服务商已经使用16T硬盘的时候,传统企业才部署到8T。

希捷相信免费和开源的CORTX能解决这一难题。在推出它之前的数年间,“希捷已经为此写出了百万行代码”,希捷科技中国区资深解决方案工程师李蓁说,考虑到未来人工智能、机器学习会是未来数据领域当中主流的应用,希捷已经在设计之初,专门针对AI以及机器学习做了调优。

“我们在CORTX上面有一个内置的内存键值,通过这种设计,用户可以直接在CORTX上对数据进行标注,同时可以进行非常高效的检索。”李蓁说。Lyve Drive Rack上还设置有一颗专用芯片,它可以降低在使用纠删码的时候所需配置的内存——这达到了降低部署成本的效果。

孙丹相信,通过生态协作,CORTX将使超大规模存储架构更为普及,科技实力相对较弱的企业也将可以经济、快速地部署对象存储,通过对海量数据进行标记来探索有数据价值的洞见。

如果一切如预期般顺利,CORTX和CORTX社区将是希捷给对象存储带来的巨大贡献。

事实上,希捷一直在对象存储的协作开发中发挥关键作用。九十年代后期,希捷是行业联盟的创始成员。该联盟建立了第一个对象存储规范:SNIA OSD标准。在这一点上,希捷对于对象存储的创新和协作的承诺贯穿在 CORTX及其众多架构优化中。

“我觉得希捷做这件事,还是挺伟大的。”孙丹说,希捷内部对CORTX已经做出了新的5年规划;而接下来要做的,就是让它的生态变得更加繁荣。

0 人点赞