一、数据联邦 概念
数据联邦(跨库合并数据) 功能组件 ,可满足对实际数据集成中不断扩展需求。提供虚拟数据集成服务和企业数据集成的能力。由于在实际数据集成平台中将传统的物理数据集成方法于虚拟数据方法相结合,该功能组件即刻提供数据的整体可视化图形流程。无需落具体落地到某一数据库,直接在ETL服务内存进行数据访问、运算...... 从而加快数据抽取速度,减少 IT 基础架构成本和复杂度、提高企业整个灵活性。
二、为什么ETL工具BeeDI 产品需要 数据联邦功能组件
1、加速开发过程
企业数据中心可以直接链接多个数据源中的数据,无需实际将具体数据迁移到大数据中央就可创建即时的联邦视图。数据联邦功能组件可以轻松实现所有需要连接的所有数据源,能够以用户和客户端系统所需的格式快速提供数据。帮助企业满足访问、集成和分析数据方面不断变化的业务需求,并对新的业务需求做出快速响应。
2、适应企业需求的不断变化
首先,由于可物理或虚拟数据集成模式,企业可以通过混合集成模式来优化器数据体系架构和IT基础架构,从而满足特殊业务和技术需求。另外,使用数据联邦功能组件可使数据资源的可重复用性最大化,帮助IT部门提高灵活性,降低开发成本。
3、保障企业系统持续运行、经济高效扩展
数据联邦功能组件有灵活查询结果缓存,有防止业务系统因频繁数据连接而过量负载,最大化减小成本的核心业务操作引起中断的高风险。另,结合虚拟和物理数据集成模式,先进行数据联邦,待平稳后过渡到物理数据落地。
三、数据联邦 功能组件 主要特点
1、对多个异构数据源的按需联合连接。用户无需实际移动数据就可以创建虚拟数据视图。使用虚拟或物理数据集成方案提供更完整的分离系统视图,同时将数据连接功能扩展到客户端程序。
2、物理和虚拟集成模式。在一个平台上将实时数据与经过清洗的历史数据结合。开发初期可对数据仓库和数据存储进行快速虚拟建模,加快部署过程,确保业务实现。
3、高性能设计。最大限度地减少核心业务运营系统上的负载。数据联邦与物理数据移动之间进行平稳过渡,而大大提升扩展灵活性。
4、与平台或数据库无关。与主要的关系数据库和操作系统进行互操作。独立于任何数据库底层引擎。
5、数据横向合并,通过连接条件将多路不同结构的输入流合并为一路输出流,横向合并支持数据转换、过滤、分组。数据纵向合并,将多路相同结构的输入流合并为一路输出流,纵向合并支持数据去重。