近年来,唱衰存储的声音层出不穷,大有存储创新乏力、已近黄昏之势。Gartner近期发布了2021年存储和数据保护技术成熟度曲线,涵盖全球存储市场值得客户关注的各项新技术。
从中可以看出,存储市场的技术创新依然非常活跃,既有日渐规模应用的新技术,更有首次进入Gartner技术成熟度曲线的最新创新点。存储依然是蓬勃发展的朝阳产业,创新无止境。
以下为最值得关注的七大新技术。
FAC(NextGen SmartNIC)
2021年FAC首次入围Gartner技术成熟度曲线。Function accelerator card (FAC)是指采用可编程处理器卸载网络、安全、存储功能的专用硬件加速卡。通过卸载RAID、数据压缩、块管理、加密、TLS会话管理等高开销的功能,让服务器能承载更多的负载,提升服务器性能10%-50%。同时还能提供NVMe over Fabrics and GPUDirect storage连接外置存储。
2019年,FAC开始应用于超大规模CSP,例如微软、AWS、百度。2020年,FAC获得了包括VMware在内的更多的生态支持。另外,FAC厂商如雨后春笋般涌现,例如DPU、SmartNIC、DSC、可编程NIC。Gartner预测FAC市场将由2019年不足1000万美金,快速增长到2024年的10亿美金。
Gartner认为FAC发展的驱动力来自于几个方面:
1、AI/ML、实体建模、地震分析和高级分析应用产生前所未有的存储、网络负载;
2、网络安全威胁的频率、复杂性大幅增加,要求网络安全功能必须以独立隔离的方式卸载和运行,尤其是在裸金属、微服务环境;
3、随着5G的应用,运营商边缘网络走向虚拟化,卸载5G数据面UPF和网络分片到FAC可以获得更低的时延和更高的带宽。
但FAC的广泛应用面临诸多阻碍:超大规模CSP已经证明FAC物有所值,但FAC带来的价格增加,还未在企业客户证明其价值,企业客户需要找到清晰的价值场景;FAC的尺寸、功耗还不乐观,部分FAC功耗达到75w,需要占用服务器仅有的一个全尺寸PCIe槽位。
Gartner建议企业微秒级时延的海量数据处理应用,大型的数据中心网络服务商,或者企业对网络超级敏感的应用,采用基于FAC进行加速。笔者认为就存储相关的市场而言,FAC应用前景重点是HCI超融合基础设施,以及计算和存储一体化部署的微秒级低时延数据分析应用。同时利用FAC实现NVMe Over Fabrics、GPUDirect storage的卸载,可以克服二者当前操作系统、虚拟机生态的不完善,加速二者连接外置存储的应用。
容器原生存储
随着容器技术的成熟,容器开始承载企业有状态应用,例如Apache Cassandra, Apache Kafka, MySQL, MongoDB,PostgreSQL。出于灵活弹性、可靠性的考虑,越来越多的分布式数据库采用独立的存储代替本地盘。当然,容器应用下的文件存储,大家都耳熟能详。
容器原生存储是指用于支持容器有状态应用,适应容器细粒度和大规模扩展能力,并和K8S容器管理系统深度集成的存储。
容器原生存储是存储创业公司的热点方向,但笔者更看好这里面业界成熟的存储产品,只是这些产品必须提升自己对大规模容器应用的连接规格,以及和K8S深度集成,提供面向容器应用的存储操作、灾备、运维。
NVMe-oF
NVMe-oF是指在FC、IB、RoCEv2/iWARP/TCP以太网上运行NVMe命令的协议,从而将NVMe高并发、低时延的优势从PCIe设备拓展到存储网络侧。Gartner认为NVMe SSD和NVMe-oF的组合架构可以增强全闪存阵列的性能。虽然可能需要基础设施发生变更,但NVMe-oF带来的好处会快速获得高性能低时延应用客户的青睐,例如AL/ML、HPC、内存数据库、交易处理。大部分的存储阵列厂商都已经支持了至少一种NVMe-oF产品,Gartner预测1年内所有的厂商都将支持。
当然应用层的生态支持是影响NVMe-oF应用的关键因素。好消息是除Linux之外,2020年VMware vSphere 7.0开始支持NVMe-oF。
2018年NVMe-oF支持了TCP作为传输协议,Gartner预测TCP/IP可能会成为数据中心NVMe-oF的一种非常重要的传输协议。但笔者却认为RoCEv2相对于TCP/IP更匹配NVMe-oF低时延的诉求。当然现在很多客户为了保护已有投资和稳妥的考虑,FC也是一个重要的选项。
Infrastructure SDS
基础架构软件定义存储(Infrastructure SDS)从底层硬件中抽象出存储软件,在IT基础架构中提供通用资源调配和数据服务,而不考虑部署位置和硬件技术。可以部署在VM、容器或者裸金属标准服务器,部署在客户数据中心、边缘或者公有云。
企业选择Infrastructure SDS的动力来自于几个方面:标准X86服务器的低成本;infrastructure as code,存储纳入软件定义数据中心自动化调度框架;客户可以在企业数据中心、边缘或者公有云获得一致的数据服务。
Gartner认为企业采用Infrastructure SDS的阻碍来自于:
1、IT和运营Leader需要投资于具有专业技能的人员,来开发和管理企业的SDS。因此SDS硬件成本的降低必须和提高的OPEX成本放在一起评估。
2、存储阵列价格近年来明显的下降,给了企业客户一个更可靠的选择。因此Gartner认为性能和TCO不应成为SDS的唯一的客户价值。Gartner认为长期来看,Infrastructure SDS最重要的价值在于日益增长的混合云灵活性,客户可以在企业数据中心、边缘或者公有云获得一致的数据服务。
Gartner建议企业客户充分认识到SDS还在创业阶段,应用集中在需要大规模部署灵活性而存储阵列难以满足的场景,以及混合云部署场景。同时还要认识到与即插即用设备相比,SDS在调整底层硬件规模和构建整体解决方案方面可能涉及大量工作。
笔者认为从Gartner给客户的建议和市场应用情况可以看出SDS市场日趋理性:
1、SDS不是存储阵列的代替品,而是适用于关注存储大规模扩展灵活性、混合云部署的应用场景;
2、SDS纯软件采购模式和软硬件一体采购模式应该并存。前者更关注成本,适用于价值相对较低的数据场景,后者更关注可靠性,适用于高价值数据场景。
SCM SSD
SCM(Storage-class Memory)是一种新型的非易失内存技术,具备接近DRAM内存的性能,同时又是持久化的存储介质。相对于DRAM,SCM具备较大容量、较低成本、持久化优势,但访问时延还不足以完全替代DRAM。相对于NAND SSD,SCM具备低时延、高性能优势,但成本还远远高于NAND SSD。SCM底层的技术包括Intel的3D XPoint、三星的Z-NAND、铠侠的XL-FLASH NAND。
日益增长的数据量催生了对大容量内存系统的需求,但DRAM内存的高昂价格让人却步。SCM满足了一部分时延要求略低的大容量内存系统要求。SCM适用于数据分析、实时分析处理、内存数据库、AI/ML或其他超高性能场景,例如金融、政府、自然资源、生物医学行业。
几乎所有的存储厂商都在高端存储支持了SCM SSD Cache,部分厂商甚至在中端存储提供支持。
Gartner认为SCM SSD应用的不确定性来自于:高价格以及存储网络性能的限制,使得SCM SSD还处于非常特定的场景应用阶段。Gartner建议客户评估在全NVMe闪存阵列中使用SCM SSD,但是要注意其单位容量价格是NAND SSD的10倍。
从上面Gartner分析可以理解为什么SCM SSD处于泡沫破裂期。笔者认为,SCM SSD在当前的存储架构中性能发挥受限,是因为从整体IT栈来看,我们依然把SCM SSD当做NAND SSD的部分替代来对待,其性能介于应用层自身的加速缓存和NAND SSD存储阵列之间,应用确实尴尬。
其实SCM SSD和Persistent-Memory DIMM(内存条式的SCM)一样,更适合用在一部分大容量内存场景。而且笔者预测由于SCM的持久化存储特性,将改变当前以数据库、大数据、AI为代表的数据管理层和存储产品的边界,数据管理层的存储引擎将融入存储产品,成为存储产品的SCM高性能层。
分布式文件系统
相对于Scale-up的NAS存储,分布式文件系统采用Scale-out架构,支持跨多节点的单一文件系统,数据和元数据都分布在多个节点上。同时分布式文件系统提供更好的数据洞察(data insight)能力和混合云数据生命周期管理,帮助企业管理海量的文件数据。非结构化数据的加速增长,以及基于文件的新兴企业应用,例如数据分析、AI、ML,都将分布式文件系统推到IT基础设施规划的前沿。
超融合
超融合HCI将计算、存储、网络融合在一套系统中,降低数据中心复杂度。多个服务器组合在一起,创建共享的计算、存储资源池。HCI提供简化的管理,解决IT专家缺乏的难点。HCI特别适合于中型企业数据中心或者大型组织的远程站点。随着边缘应用的兴起,HCI市场现在同时向数据中心、边缘两个方向发展。
Gartner认为HCI发展的阻碍:HCI的性价比不太满足Scale-up架构的应用;对大型数据中心来讲,HCI成为新的孤岛。第二点笔者非常认同,对于大型的数据中心,分层解耦的大规模IT资源池更容易资源共享、统一管理。这里顺便提一句,全球大型客户认识到不仅仅是HCI,就连私有云也存在不同厂家孤岛问题,都开始寻求分层解耦资源池 多云管理平台的未来IT架构。
总体来看,HCI发展已经非常的稳健,期待HCI在新兴的边缘市场带来更多的惊喜。
存储依然是朝阳产业,创新无止境
Gartner 2021年共评估了22项值得CIO们关注的存储和数据保护新技术。层出不穷的新技术创新,成功打破了“存储已没落”的传言。在全球客户加速数字化转型的时代,持续挖掘客户需求,推动技术变革,存储依然是蓬勃发展的朝阳产业,创新永无止境。
相关阅读 ·
- 全球 428 亿元存储市场:戴尔 138亿、NetApp 46.6亿、HPE/H3C 40亿、日立 25亿、华为 23.4亿
- 445 亿元的存储市场:戴尔 120亿、HPE/H3C 49亿、NetApp 44亿、华为 40亿、日立 22亿、IBM 21亿