2.1 Kettle简介
2.1.1 Kettle概述
Kettle是国外免费的开源轻量级ETL工具，是基于Java语言开发的，可以在Windows.Linux,UNIX系统上运行，且绿色不需安装，可用于各种数据库之间的连接。
Kettle工具主要有四个组件组成，分别是Spoon，Pan，Kitchen以及Carte组件，具体功能如下： *Spoon为集成开发软件，用于构建作业和转换，执行或调试作业和转换，还可以用于监控ETL操作性能。
*Pan以命令行形式执行Spoon生成的转换程序。
*Kitchen以命令行的方式执行Spoon生成的作业程序
*Carte是一个重要组件，是基于Jetty的轻量级HTTP服务器，主要用于监控HTTP执行作业和转换的进度。
2.1.2Kettle设计原则：易于开发，避免自定义开发，所有用户都可以通过用户界面完成，无命名限制，透明，灵活的数据通道，只映射需要映射的字段。
2.2 Kettle的下载安装
1、Kettle官网的下载地址为：http://sourceforge.net/projects/pentaho/files/Data Integration/，在官网下载安装包。
2、解压文件，执行spoon.bat。
3、配置Kettle（在网上搜索即有详细的引导步骤）。
4、启动Kettle。
2.3 Kettle的基本概念
Kettle工具的执行分为两个层次，即转换和作业，这两个层次的主要区别在于数据传递和执行方式。具体如下图：
2.3.1转换
转换是ETL方法解决中重要部分之一，主要用于数据抽取，转换和加载等等，其本质是一组图形化的数据转换配置逻辑结构。包括读取文件，过滤输出行，数据清洗或将数据加载到数据库中等步骤，转换中的步骤是通过跳连接的。下图为Kettle转换示例：
以上转换示例是实现从数据库中读取数据，并把数据写到文本文件中，该转换包含了步骤，跳，注释以及数据行，具体介绍如下;
1.步骤：转换中的基本组成部分，也可称之为控件，以图标的方式呈现。
特性：每个步骤必须要有一个名字且这个名字在转换范围内唯一；
每个步骤都可以读，写数据行，生成步骤除外，该步骤只用于写数据；
步骤通过输入跳接收数据；
大多数步骤都有多个输出跳，一个步骤的数据发送可以设置为轮流发送和复制发送；
在运行转换时，一个线程运行一个步骤和步骤的多个副本，所有步骤的线程几乎同时运 行，数据行就会连续流过步骤之间的跳。
2.跳：数据的通道，应用于连接两个步骤，实现将元数据从一个步骤传递到另一个步骤，支持分发和复制等方式。
注：由于每个步骤都是单独的线程，当启动转换时，每个步骤都会创建各自的线程并接收和推送数据（这样并发程序最高），所以数据处理的顺序并不是按照节点连接箭头的顺序执行的。由于转换里的步骤都依赖于前一个步骤获取字段值，因此当创建新跳时，在转换里不能循环进行。
3.注释：以文本描述的方式呈现在作业中，只为增强流程的可读性，可放在任何一个位置。（注释并不参与程序的处理）
4.数据行：数据是以数据行形式沿着步骤流动。一个数据行是从零到多个字段的集合。Kettle中字段的数据类型一共有10种，具体见下图：
2.3.2 作业
一个作业包含一个或多个作业项，且都是按照某种顺序进行执行的。下图为一个作业示例：
该作业中包含了作业项，作业跳以及多路径和回溯，具体介绍如下：
1.作业项：作业的基本构成部分，也可称之为控件。
注：作业项可以进行复制；作业项可以传递一个结果对象；作业项目是以串行方式执行的。
2.作业跳作业项之间的连接线，定义了作业的执行路径。
3.多路径和回溯：Kettle使用一种回溯算法执行作业里的所有作业项，且作业项的执行结果（真/假）决定执行的路径。
4.作业项结果
2.4 Kettle的基本功能
2.4.1转换管理
主要包括输入，输出，转换，应用，流程，脚本，查询，连接，检验，作业，映射，批量加载等功能。转换功能常用控件如下图所示：
2.4.2 作业管理
主要包括通用，邮件，文件管理，条件，脚本，批量加载等。下图描述Kettle作业常用功能的控件：
2.4.3 数据库连接
数据库种类多，因此Kettle工具的数据库连接窗口包含多种数据库类型，具体如下图所示：
一般标签界面
高级标签界面
选项页面
连接池页面
集群页面
注：本文为学习《数据清洗》——黑马程序员 后的学习笔记。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/181193.html原文链接：https://javaforall.cn
