数据中台:Snowflake的独特技术优势

2020-11-20 17:54:09 浏览数 (2)

数据中台:Snowflake的独特技术优势

Snowflake已于2020年9月16日正式上市,市值超过700亿美元。该公司成立于2012年,致力于为企业提供数据云平台,帮助客户打破数据孤岛,方便企业运用和分享数据,并从中获得数据价值和商业洞见。Snowflake提供的产品技术服务在国内更多被称为数据中台。当然,它独特的技术优势是获得资本亲赖的原因之一。

云端原生性

Snowflake提出了data-warehouse-as-a-service(DaaS)的概念,可以简单理解为原生于云端并专注于数据仓库的SaaS服务。Snowflake的云端原生性,和很多数据仓库提供商支持云端服务并非同一概念。其他云服务巨头,例如Oracle,Teradata,Netezza,尽管或多或少支持云端,因为本身产品架构的局限性,他们常常被证明并不能良好地解决很多现代企业面对的各种数据需求与问题。

独特的底层架构

Snowflake提出了独特的存储、计算以及管理服务分离的架构。Snowflake在Shared-nothing的基础上提出了Multi-cluster, shared data的概念。这种架构的关键在于将存储和计算彻底分离,从本质上解决了传统架构的痛点。

从存储层来看,Snowflake将所有表自动划分为接近固定大小的micro-partition,用以支持更加高级的time travel和data sharing功能。即使对数据库进行了clone,在逻辑上有了两个数据库,而底层的存储仍然只有一个版本。从计算层来看,Snowflake用T-shirt尺寸定义了算力,相比较其他云计算资源,极大地简化了provision的过程。用户可以随时提高或降低计算资源来应对需求,而且这些不同计算资源看到的数据都来自同一版本。从服务层来看,是另一个我认为Snowflake服务层非常独立。它由众多global services组成,涵盖operation management,optimization,tuning,security,availability,metadata,caching等任务。它解决了数据仓库易用性的问题,大大降低了需要的管理和运维成本,是其他竞争对手所不能比拟的。

技术上坚持中立、开放原则

在美国,亚马逊AWS、微软Azure、谷歌云是云服务巨头,他们竞争力强,平台生态完善,基础设施规模庞大,客户资源丰富,而Snowflake打通这些公有云平台,提供中立性、按需付费的服务,在数据迁移与共享等方面,为客户提供更大灵活性。坚持数据共享开放原则,将数据提供商、合作伙伴和客户联合起来,采用平台的客户越多,就可以与其他客户、合作伙伴和数据提供商交换更多的数据,提升平台对所有用户的价值。

从存储层来看,Snowflake将所有表自动划分为接近固定大小的micro-partition,用以支持更加高级的time travel和data sharing功能。即使对数据库进行了clone,在逻辑上有了两个数据库,而底层的存储仍然只有一个版本。从计算层来看,Snowflake用T-shirt尺寸定义了算力,相比较其他云计算资源,极大地简化了provision的过程。用户可以随时提高或降低计算资源来应对需求,而且这些不同计算资源看到的数据都来自同一版本。从服务层来看,是另一个我认为Snowflake服务层非常独立。它由众多global services组成,涵盖operation management,optimization,tuning,security,availability,metadata,caching等任务。它解决了数据仓库易用性的问题,大大降低了需要的管理和运维成本,是其他竞争对手所不能比拟的。

技术上坚持中立、开放原则

在美国,亚马逊AWS、微软Azure、谷歌云是云服务巨头,他们竞争力强,平台生态完善,基础设施规模庞大,客户资源丰富,而Snowflake打通这些公有云平台,提供中立性、按需付费的服务,在数据迁移与共享等方面,为客户提供更大灵活性。坚持数据共享开放原则,将数据提供商、合作伙伴和客户联合起来,采用平台的客户越多,就可以与其他客户、合作伙伴和数据提供商交换更多的数据,提升平台对所有用户的价值。

0 人点赞