在我十多年的数据仓库建设经验中,ETL(Extract, Transform, Load)一直是最具挑战性的环节之一。简单来说,ETL就是将分散在各个业务系统中的数据抽取出来,经过清洗转换,最后加载到数据仓库中的过程。这个过程看似简单,...

随着企业对实时流数据的处理要求越来越高，很多企业都把实时流数(日志、实时CDC采集数据、设备数据…)先推入到kafka中，再通过ETL对kafka中的数据进行消费通过ETL强大的数据的转换、清洗功能来进行数据的集成与分发。...

很多企业都购买了商业智能（BI）来加速数字化转型，但是发现仅仅依赖BI效果往往不太好。虽然通过BI，企业能够快速分析和可视化数据，然而，BI并不是一个万能工具，它虽然能帮助企业解读数据，但其有效性高度依赖于数据的质量和一致性...

流数据处理和批数据处理之间的区别主要在于数据的处理方式、时间性、架构设计和适用场景。虽然批处理系统和流处理系统都可以处理数据，但它们处理数据的方式和目的不同，以下我将“流数据处理”和“批数据处理”进行差异...

Elasticsearch的部署和使用不在这里介绍，这里主要介绍如何通过etl engine对elastic进行读写访问。

在实施etl过程中，经常会遇到不同类型之间的转换，方式有很多种，下面是项目中使用etl-engine进行数据类型转换的收集整理，方便日后工作中查阅。

官方示例：Eventdrv - Code Samples | Microsoft Learn

当前是一个数据驱动企业发展的时代，企业的数字化转型已不再是选择题，而是关乎生存与发展的必答题。在这场深刻的变革中，数据集成平台作为连接企业内部外数据孤岛、促进数据流动与融合的桥梁，扮演着至关重要的角色。它不仅...

数据科学已经深入我们的日常生活，很多供数据分析人员使用数据分析工具也应运而生。KNIME是最常见的工具之一，Knime有许多创新特性，比如可视化编程环境和简洁直观的界面。...

MongoDB 引擎是只读表引擎，允许从远程 MongoDB 集合中读取数据(SELECT查询)。引擎只支持非嵌套的数据类型。不支持 INSERT 查询。