从本质上说,数据湖就是一个信息资源库。人们常常将数据湖与数据仓库混为一谈,但两者在架构和满足的业务需求上都不一样。尤其是,随着社交媒体数据、物联网机器数据和交易数据持续快速增加,云数据湖成为了现代数据管理战略的重要组成部分。存储、转换和分析各类数据的能力可以为企业发现新业务机会和实现数字化转型铺平道路,而数据湖正好能赋予企业这种能力。
数据湖的定义
数据湖是一个中央数据存储库,可以帮助解决数据孤岛问题。重要的是,数据湖可以存储大量原生或原始格式的原始数据,包括结构化、非结构化和半结构化格式的数据。数据湖,尤其是云端的数据湖,具有成本低、易扩展的特点,并且常与实用机器学习分析工具一起使用。
数据湖 VS 数据仓库
与数据湖相比,数据仓库还提供数据管理功能,而且存储的是经过处理和过滤的数据,这些数据事先基于预定义的业务问题或用例进行了处理。
数据仓库和数据湖对比
数据仓库与数据湖通常互为补充。例如,当需要存储在数据湖中的原始数据来回答业务问题时,可以将其从数据湖中提取出来,进行清理和转换,然后在数据仓库中进一步分析。
“数据湖仓一体”是近几年出现的新概念,还在不断发展,它在传统数据湖的基础上增添了数据管理功能。从本质上讲,数据湖库就是数据湖和数据仓库的融合。
除上述数据类型和流程差异外,下表还列出了数据湖与数据仓库解决方案的一些其他区别。