目录
 
一、Kettle概述
 
01 什么是Kettle？
 
02 Kettle核心知识
 
二、Kettle安装部署
 
01 Kettle安装地址
 
02 Windows下安装使用
 
三、Kettle入门案例
 
案例一:把stu1的数据按id同步到stu2，stu2有相同id则更新数据
 
(4) 实战流程如下
 
查看MySQL数据库，效果和我们的需求一致 ！
 
案例二:使用Job作业方式调度转换操作，并使用SQL插入数据到stu2
 
(3) 实战流程如下
 
然后执行和之前一样保存，执行，效果如下
 
查看MySQL中的表数据
 
可以看到不仅stu1的数据更新到了stu2中，并且我们自定义的SQL插入操作的数据也存在
 

一、Kettle概述
 
01 什么是Kettle？
 
 
 
Kettle是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定
 
 
02 Kettle核心知识
 
1）Kettle工程存储方式
 
 
 
1、以XML形式存储
 2、以资源库方式存储(数据库资源库和文件资源库)
 
 
2）Kettle的两种设计
 
 
3）Kettle的组成
 
 
4）Kettle特点
 
 
二、Kettle安装部署
 
01 Kettle安装地址
 
 
 
1）官网地址
 
https://community.hitachivantara.com/docs/DOC-1009855
 
 
2）下载地址
 
https://sourceforge.net/projects/pentaho/files/Data%20Integration/
 
02 Windows下安装使用
 
 
 
1） 概述
 在实际企业开发中，都是在本地环境下进行Kettle的Job和Transformation开发的，可以在本地运行，也可以连接远程机器运行
 
2）安装
 1）安装JDK
 2）下载Kettle压缩包，因Kettle为绿色软件，解压缩到任意本地路径即可（路径不要有中文）
 3）双击Spoon.bat，启动图形化界面工具，就可以直接使用了（第一次启动可能有点慢，属于正常现象）
 
 
 
三、Kettle入门案例
 
案例一:把stu1的数据按id同步到stu2，stu2有相同id则更新数据
 
(1) 将MySQL驱动Jar包放到Kettle的lib目录下，然后重启Kettle
 
 
(2) 在mysql中创建两张表stu1、stu2
 
create database kettle;

use kettle;

create table stu1(id int,name varchar(20),age int);

create table stu2(id int,name varchar(20));
 
(3) 往两张表中插入一些数据
 
insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);

insert into stu2 values(1001,'wukong');
 
原始数据如下
 
 
最终效果如下
 
 
(4) 实战流程如下
 
 
 
 
 
 
 
 
 
 
案例二:使用Job作业方式调度转换操作，并使用SQL插入数据到stu2
 
(1) 使用案例1的表，先清空数据
 
truncate table stu1

truncate table stu2
 
(2) 往两张表中插入一些数据
 
insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);

insert into stu2 values(1001,'wukong');
 
(3) 实战流程如下
 
 
 
 
 

kettle是一款开源的ETL工具,用于数据的抽取和清洗。
 
最近在研究kettle，将遇到的问题一一备注起来，希望能给他人带来帮助！
 
我使用的是kettle7.1，kettle是纯Java写的，所以需要安装JDK，kettle7.1对应的JDK最低版本是JDK1.8.
 
kettle到官网下载即可：https://community.hitachivantara.com/docs/DOC-1009855
 
 
 
kettle之资源库
 

今天详细详细说一下kettle 的安装，安装的版本：
 
 
 
jdk:jdk-8u152-windows--x64
 
 
kettle:KETTLE-5.4
 
 
 
一、环境部署
 
1、安装JDK,按默认值安装即可
 
2、设置环境变量,如图下图
 
具体步骤：
 1.右击我的电脑-属性-高级系统设置-环境变量-系统变量-新建
 2.变量名:JAVA_HOME
 3.变量值: JDK安装目录
 
 
3、 Kettle程序打开(无需安装),如下图：
 
 
二、资源库
 
1、连接开发方案,选择资源库方式,如图
 
 
 
2、录入资源库信息, 如下图：
 
数据库:
主机名称:
数据库名称: 
端口号: 
账号:
密码:
 
 
 
3、选择并登录资源库,如下图：
 
账号: 
 
密码:
 
 
 三、资源管理
 
1、文件夹建立
 
 
 
 
 2、配置数据库连接(数据源/数据仓库)
 
 
四、方案开发
 
1、新建转换,更改转换名称,选择转换归属
 
 
2、建立表输入
 

步骤:
1在组件组-输入中找到组件-表输入
2.选择数据库连接(数据源)
3.填写SQL语句,可预览结果
 
 
3、建立表输出
 
步骤：
1、在组件组-输出中找到组件-表输出
2.建立表输入和表输出的连接
3.选择数据库连接(数据仓库)
4.录入目标表名,指定数据库字段
5.获取字段
6.执行SQL(建表)
 
 
 
 
 
 
4、建立清理SQL
 
*步骤:
1在组件组-脚本中找到组件-执行SQL脚本
2.选择数据库连接(数据仓库)#此处选择必须谨慎,避免清理了数据源的数据
3.填写SQL语句
4.建立与表输入的关系
 
 
 
5、测试转换是否能正常工作
 
 
6、新建作业,更改作业名称,选择作业归属
 
 
7、添加组件
 
*步骤:
1在组件组-通用中找到组件-START(作业开始,用于作业调度设置)
2.在组件组-通用中找到组件-转换(如有多个可以多次添加)
3.通过引用指定转换文件
4.在组件组-通用中找到组件-成功(作业结束)
5.按执行顺序建立组件间的关系
 
 
 
8、作业定时调度及测试,
 
 
         这样就算你可以入门了，我相信在不断的探索中你会有更多的心得的。在此也要提醒一点，KETTLE的性能可能会有不稳定的情况出现，所以注意保存你已经做过的东西。
 
 
更新：
 
很早之前写的文章，发现大家许多人想要下载安装包，我就给大家把链接顺便也找到了
 
jdk下载地址:
 
https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html
 
Kettle下载地址:
 
https://sourceforge.net/projects/pentaho/files/Data%20Integration/
 
以为这就完了，no,再附加个人网盘地址:
 
 
 
 
kettle下载链接:
 
链接：https://pan.baidu.com/s/1tmFK1sdU7DDTT3YzoJVnwQ 
 提取码：76yw 
 
点击下方链接，输入上方提取码即可
 链接:https://pan.baidu.com/s/1tmFK1sdU7DDTT3YzoJVnwQ 
 
 
 
 
 
 
 

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到教程。
 
Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。
 
Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。（引用百度百科）
 
1、Kettle的下载与安装（在本文中使用的kettle版本为6.1.0.1-196）
 
2、打开kettle。
 
　　首先解压下载下来的压缩包如:pdi-ce-6.1.0.1-196.zip
 
　　然后打开Spoon.bat，如图所示：
 
　　
 
　　打开后请耐心等待一会儿时间。
 
3、建立转换。
 
　　在文件->新建装换。
 
　　新建转换后在左边的主对象树中建立DB连接用以连接数据库。如图所示：
 
　　
 
　　建立数据库连接的过程与其他数据库管理软件连接数据库类似。
 
　　注意：在数据库链接的过程中，可能会报某个数据库连接找不到的异常。那是因为你没有对应的数据库链接驱动，请下载对应驱动后，放入kettle的lib文件夹。
 
4、简单的数据表插入\更新
 
　　（1）新建表插入
 
　　在左边的面板中选择“核心对象”，在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板。如图所示：
 
 
 
 
 
 
 
　　双击拖过来的表，可以编辑表输入。
 
　　选择数据库连接和编辑sql语句，在这一步可以点击预览，查看自己是否连接正确。
 
 
 
 
　　（2）通过插入\更新输出到表。
 
　　在左边面板中选择核心对象、选择“输出->插入\更新”如图所示：
 
 
 
 
　　编辑插入更新：
 
　　首先：表输入连接插入更新。
 
　　　　选中表输入，按住shift键，拖向插入更新。
 
 
　　然后：双击插入更新，编辑它。
 
 
 
 
　　到这里基本上，这个转换就要做完了，可以点击运行查看效果，看是否有误，这个要先保存了才能运行，可以随意保存到任何一个地方。
 
5、使用作业控制上面装换执行。
 
　　使用作业可以定时或周期性的执行转换，新建一个作业。并从左边面板拖入start 和转换。
 
　　
 
　　双击start可以编辑，可以设置执行时间等等
 
 
　　点开装换，可以设置需要执行的转换任务，比如可以执行上面我们做的转换，XXX.ktr
 
 
　　最后点击运行即可。
 
 
 
　　到这里，一个简单的通过作业调度的kettle就算做完了。