为什么要用专业国产化ETL工具?(非开源&非包装)

2024-06-21 13:51:58 浏览数 (4)

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

       如果数据转换的频率或者要求不高可以手动实现ETL的功能;反之,如果对数据转换的要求比较高的话,就需要专门的ETL工具.

1.部署要求

1.1.平台支持:

支持主流平台Linux, Windows以及国产操作系统,不同平台间具备可移植性(包含不同平台间移植以及从相同平台开发环境到生产环境间的移植);提供独立的运行框架,不依赖特定的数据库产品。同时支持各种硬件平台,如x86,龙芯等等。

1.2.满足信创要求

工具所依赖的操作系统、数据库、中间件符合信创改造要求。主要为:统信UOS操作系统、中科方德操作系统、中标麒麟、国产化数据库(人大金仓、达梦等)。

1.3.跨平台移植和向下兼容

工具跨平台或版本升级不影响原有作业设计及使用。或能提供作业升级脚本。

2. 功能特性

2.1 开放性

支持各种类型业务系统数据源,包括不仅限于oracle、sqlserver、access等各类国内外关系型数据库,甚至pdf、word、excel、xml、txt等类型数据文件,支持多达30 数据源同时采集提取。国产信创数据库等即刻开放接口。

2.2 扩展性

集成Bee脚本开发环境(自研),徒刑设计科转换成后台bee脚本,可个性化定制开发,满足国内特殊信息现状。满足复杂业务逻辑数据处理需求。

提取的数据结构、数据内容、数据标准、数据处理流程都是可扩展和灵活配置的。

2.3简化性

简化了用户的操作。专用ETL通常通过图形化的配置方式,简单,灵活,使得用户无需过分关心数据库的各种内部细节,而专注于其功能实现。

2.4集成性

集成数据标准转换和数据清洗功能。可对实际系统业务中复杂数据标准和代码转换,且配置简单、方便。数据抽取、清洗工作保证了数据质量。从而做到统一接口、统一数据文件格式、统一运行和维护方法。

2.5创新性

独有的工作流调度、内置独有的脚本解释器功能组件(bee 脚本函数)处理清洗、过滤、转换。

2.6先进性

核心自研可控,源自2004年 非开源包装技术。

2.7易安装维护

系统本身是绿色免安装软件,拷贝就能用。基本不需要其他系统维护工作。

3.非功能特点

 3.1 工具界面

可以通过可视化操作方式进行设计,将大大降低开发门槛,使开发人员得到补充,避免人员流动性造成的运维困难。

 3.2 可用性

改善数据运维的方式,运维人员经过基本培训后,简单操作即可满足ETL作业上线、部署等需求。

 3.3 安全性

用户创建的作业文件采用加密方式存储,密钥采用与机器相关的硬件信息,当作业文件拷贝到其它机器时,由于对应密钥的硬件信息 发生改变,所以作业文件是无法读取的。这样可以杜绝非法用户将作业文件复制后、通过在其它机器创建同名用户从而窃取、破坏数 据信息的行为发生。

为了防止程序开启后的非法访问(如用户在打开作业文件后离开机器,非法用户可借此窃取、破环数据信息),程序提供界面锁定功能。界面锁定后,必须提供锁定用户的密码才可重新进入程序。

3.4 易用性

良好的易用性,逻辑清晰便于用户理解;系统操作简单,人机交互界面友好。系统操作界面一目了然,用户能够直观的找到自己使用的功能菜单,很方便的完成所需操作。

3.5设计约束

所构建系统的所有设计约束。设计约束代表经过批准的、必须遵从的设计决定。示例包括软件语言、软件流程管理需求、规定使用的开发工具、体系结构和设计约束、购买的组件、类库等等。

1 人点赞