kettle工具的简单使用

2022-11-03 15:47:31 浏览数 (1)

1.使用kettle抽取CSV文件

通过Kettle工具抽取CSV文件csv_extract.csv中的数据并保存至数据库extract的数据表csv中。

(1)、创建一个转换

通过使用Kettle工具,创建一个转换csv_extract,并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线,具体如图所示。

(2)、配置CSV输入插件

双击“CSV文件输入”控件,进入“CSV文件输入”界面。完成配置。

  1. 单击【浏览】按钮,选择要抽取的文件csv_extract.csv
  2. 单击【获取字段】按钮,Kettle自动检索CSV文件,并对文件中的字段类型、格式、长度、精度等属性进行分析。
  3. 单击【预览】按钮,查看文件csv_extract.csv的数据是否抽取到CSV文件输入流中。

(3)配置表输出插件

  1. 双击“表输出”控件,进入“表输出”控件的配置界面
  2. 单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。
  3. 单击目标表右侧的【浏览】按钮,获取目标表,即数据表csv;勾选“指定数据库字段”的复选框。
  4. 单击“数据库字段”选项卡,再单击【输入字段映射】按钮,弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。

ps:目标数据库及表需要提前建好。

(4)进行转换

单击转换工作区顶部的 三角 按钮,运行创建的csv_extract转换。

(5)查看数据

通过SQLyog工具,查看数据表csv是否已成功插入100行数据。

2、json文件的抽取

通过Kettle工具抽取JSON文件json_extract.json中的数据并保存至数据库extract中的数据表json中。

(1)通过使用Kettle工具,创建一个转换json_extract,并添加“JSON input”控件、“表输出”控件以及Hop跳连接线,具体如图所示。

(2)配置JSON文件输入控件

单击【浏览】按钮,选择要抽取的JSON文件json_extract.json;单击【增加】按钮,将所选择的文件添加到“选中的文件和目录”处。

单击“字段”选项卡,添加要抽取的数据字段(这里采用分层抽取数据字段,先抽取id和data字段,再从data字段中抽取field和value字段)

双击“JSON input 2”控件,进入“JSON输入”界面 ,勾选“源定义在一个字段里?”的复选框;在“从字段获取源”处的下拉框中选择字段名,即data。单击“字段”选项卡;添加从字段data中抽取的field和value字段。

(3)配置表输出控件

(4)、运行转换json_extract

(5)、查看数据表json中的数据

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/181362.html原文链接:https://javaforall.cn

0 人点赞