如今已经进入到了大数据和互联网+时代，数据成为了行业人士看重和关心的事物，单个或者少量的数据价值有限，但是当海量数据聚集在一起时，它们发挥的作用就不可小视，需要使用专门技术手段来处理和优化数据，数据湖 数据仓库之间...
首先我们介绍什么是CDC？CDC的全称是Change data Capture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。它的应用比较广，可以做一些数据同步、数据分发和数据...
近日，大数据独角兽 Databricks 官宣 H 轮融资，经过这一轮 16 亿美元融资，其估值已经飙升至 380 亿美元。Databricks 联合创始人兼首席执行官 Ali Ghodsi 在媒体采访中表示，这笔资金将主要用于加速构建在 lakehouse（湖仓一...
互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要的技术组成部分。大数据领域经过近十年的高速发展，无论是实时计算还是离线计算、无论是数据仓库...
在数据和分析领域中，数据网格（Data Mesh）范式是取代数据湖、成为主要架构模式的强势候选者。重要的是，数据网格引入了新的组织视角，并且它与特定技术无关。其关键思想是将领域驱动设计（DDD）和产品思维，应用到数据和分析领域的...
这是一个快速变化的时代，颠覆性技术不断出现，特别是在人工智能（AI）领域。虽然人工智能技术是由商业部门开发，主要用于商业用途，但其在军事领域具有明显潜力，因而世界各地的武装部队对尚处于雏形的智能化国防体系进行了实验，以...
过去的相当长的一段时间里，商用对象存储占据了市场上的大量的份额。国外的Amazon S3，国内的阿里云OSS都成为了大多数公司的选择。但是构建一个企业级的数据湖（包括结构化和非结构化数据）已经成为了越来越多公司的目标。那...
自 2010 年首次提出“数据湖”一词以来，采用数据湖架构的组织数量呈指数级增长。它们支持多种分析功能，从数据的基本 SQL 查询到实时分析，再到机器学习。...
在构建实时场景的过程中，如何快速、正确的实时同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Apache Flink和数据湖两种技术，来解决业务数据实时入湖的相关问题。两者的结合能良好的支持实时数据落...
