- 产 品
- Spoon、Pan、CHEF、Kitchen
- 最新版本
- 绿色无需安装
- 特 点
- transformation和job,
- 中文名
- 水壶
- 外文名
- Kettle
-
Kettle
2020-04-20 19:09:01一、Kettle概述 01 什么是Kettle? 02Kettle核心知识 二、Kettle安装部署 01 Kettle安装地址 02 Windows下安装使用 三、Kettle入门案例 案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据 (4) ...目录
案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据
案例二:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2
可以看到不仅stu1的数据更新到了stu2中,并且我们自定义的SQL插入操作的数据也存在
一、Kettle概述
01 什么是Kettle?
Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定
02 Kettle核心知识
1)Kettle工程存储方式
1、以XML形式存储
2、以资源库方式存储(数据库资源库和文件资源库)2)Kettle的两种设计
3)Kettle的组成
4)Kettle特点
二、Kettle安装部署
01 Kettle安装地址
1)官网地址
https://community.hitachivantara.com/docs/DOC-1009855
2)下载地址
https://sourceforge.net/projects/pentaho/files/Data%20Integration/
02 Windows下安装使用
1) 概述
在实际企业开发中,都是在本地环境下进行Kettle的Job和Transformation开发的,可以在本地运行,也可以连接远程机器运行2)安装
1)安装JDK
2)下载Kettle压缩包,因Kettle为绿色软件,解压缩到任意本地路径即可(路径不要有中文)
3)双击Spoon.bat,启动图形化界面工具,就可以直接使用了(第一次启动可能有点慢,属于正常现象)三、Kettle入门案例
案例一
:把stu1的数据按id
同步到stu2,stu2有相同id则更新数据(1) 将MySQL驱动Jar包放到Kettle的lib目录下,然后重启Kettle
(2) 在mysql中创建两张表stu1、stu2
create database kettle; use kettle; create table stu1(id int,name varchar(20),age int); create table stu2(id int,name varchar(20));
(3) 往两张表中插入一些数据
insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23); insert into stu2 values(1001,'wukong');
原始数据如下
最终效果如下
(4) 实战流程如下
案例二
:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2(1) 使用案例1的表,先清空数据
truncate table stu1 truncate table stu2
(2) 往两张表中插入一些数据
insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23); insert into stu2 values(1001,'wukong');
(3) 实战流程如下
-
kettle
2018-09-06 16:03:02kettle是一款开源的ETL工具,用于数据的抽取和清洗。 最近在研究kettle,将遇到的问题一一备注起来,希望能给他人带来帮助! 我使用的是kettle7.1,kettle是纯Java写的,所以需要安装JDK,kettle7.1对应的JDK最低...kettle是一款开源的ETL工具,用于数据的抽取和清洗。
最近在研究kettle,将遇到的问题一一备注起来,希望能给他人带来帮助!
我使用的是kettle7.1,kettle是纯Java写的,所以需要安装JDK,kettle7.1对应的JDK最低版本是JDK1.8.
kettle到官网下载即可:https://community.hitachivantara.com/docs/DOC-1009855
-
KETTLE
2019-03-27 19:17:39 -
kettle精讲
2019-03-23 13:16:29kettle精讲,本节课程主要包括kettle基础的表输入、增量更新、同步更新、定时任务,学完可以基本满足企业的日常开发需要 -
kettle调度监控平台(kettle-scheduler)开源
2018-11-15 17:28:36Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在...- 背景
Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。
- 项目介绍
Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成,通过调用kettle的API来执行转换和作业,并且使用quartz框架完成调度工作。
此版本基于kettle-8.0.0.0-28版本的API开发的,目前可以基本支持所有的组件,包括大数据组件(hbase、hive、hdfs等)。
项目源码:https://github.com/zhaxiaodong9860/kettle-scheduler(不要忘了给个star哦)
发布版本:https://pan.baidu.com/s/1DX2aCLlOIieHjuNcwn2_-w 提取码 提取码: 52r8
kettle8.0工具下载地址:点击下载
- 部署
1.基础环境
操作系统:windows(linux类似)
预装软件:jdk1.8、mysql、tomcat、kettle8.0
2.将源码中kettle-scheduler.sql导入mysql数据库。
3.将源码编译打包后解压到tomcat下的webapps目录下。
4.配置km\WEB-INF\classes\resource\db.properties
jdbc.driver=com.mysql.jdbc.Driver //mysql驱动 jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false //mysql的jdbc url jdbc.username=root //mysql用户名 jdbc.password=123456 //mysql密码
5.配置km\WEB-INF\classes\resource\ kettle.properties
# Kettle Properties #绝对路径,用于初始化kettle环境变量(.kettle/kettle.properties所在路径),指向kettle根目录(例如 D:\data-integration) kettle.home=D:\\data-integration #绝对路径kettle下plugins文件 kettle.plugin=E:\\zhaxiaodong\\apache-tomcat-9.0.12\\bin\\plugins #相对路径,不需要改,暂时没有查出有什么用 kettle.script=Html\\js\\libs\\url #日志级别 kettle.loglevel=detail #kettle日志存放路径 kettle.log.file.path=D:\\data-integration\\logs #保存上传文件转换(.ktr)或作业(.kjb)的路径,此功能未调试,暂时停用,待开发 kettle.file.repository=D:\\data-integration\\test
6.需要用到大数据组件的:将data-integration目录下的simple-jndi、system和plugins文件夹拷贝到apache-tomcat-9.0.12\bin目录下
不需要用到大数据组件的:将kettle-scheduler/src/main/resources目录下kettle-lifecycle-listeners.xml和kettle-registry-extensions.xml删除。
7.启动tomcat
Windows:apache-tomcat-9.0.12\bin\startup.bat;
Linux: apache-tomcat-9.0.12\bin\startup.sh;
8.访问http://localhost:8080/km进入系统。注意:km为解压到tomcat/webapps下的项目的文件夹名称,一般源码编译后为kettle-scheduler,即可访问http://localhost:8080/kettle-scheduler。localhost为部署的服务器IP。
- 使用说明
1.登陆
访问http://localhost:8080/km进入登陆界面,用户名admin,密码admin
2.首页
首页主要是显示监控信息,当一个任务(作业或转换)启动后,这个任务就处于被系统的监控状态下,首页展示了总监控任务数、监控作业数、监控转换数、转换监控记录(仅显示5条)、作业监控记录(仅显示5条)以及7天内作业和转换的监控状况。
3.资源库管理
管理kettle数据库资源库的信息,可以新增、修改、删除数据库资源库。
4.任务管理 – 作业管理
管理作业定时任务,可以新增、修改、删除作业定时任务,启动后作业即开始运行。
5.任务管理 – 转换管理
管理转换定时任务,可以新增、修改、删除转换定时任务,启动后转换即开始运行。
6.任务管理 – 执行策略
管理执行策略,可以新增、修改、删除执行策略(定时执行策略)。
7.监控管理 – 作业监控
处于运行的作业会被系统监控,此处显示被监控的作业的监控信息,包括总作业任务数、总执行成功次数、总执行失败次数以及每个作业的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。
8.监控管理 – 转换监控
处于运行的转换会被系统监控,此处显示被监控的转换的监控信息,包括总转换任务数、总执行成功次数、总执行失败次数以及每个转换的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。
9.用户管理
此菜单只有admin用户登陆时显示,用户管理用户,admin用户可以新增用户、编辑用户、删除用户。
最后希望大家可以一起维护此项目,如有问题可加入qq群提问
点击链接加入群聊
【kettle-scheduler交流QQ群:817362677(已满)】
【kettle-scheduler交流QQ群2:821614032(已满)】
【kettle-scheduler交流QQ群3:553956378】
-
Kettle — 使用手册
2018-09-11 17:35:42介绍 ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD...Kettle是ETL中其中一个开源工具,基于纯Java开发。 kettle有两种脚本transformation(转换)和Job(作业) Kettle有三个主要组件:Spoon、Kitchen、P... -
kettle 8.2
2019-01-18 23:12:19kettle 8.2 安装包 。 -
kettle6与kettle7版本比较
2018-10-12 11:59:27我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较 -
kettle下载
2019-02-20 14:54:20KETTLE资源下载,最新版,文档无误,提供文档支持,技术询问 -
ETL kettle
2018-09-01 15:26:47Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle... -
Kettle手册
2018-06-15 09:32:46大数据ETL工具Kettle使用教程,中文教程,希望对大家有帮助 -
Kettle> Kettle整合Hadoop
2020-05-02 00:26:32文章目录Kettle整合大数据平台Kettle整合Hadoopkettle与hahoop环境整合Hadoop file input组件Hadoop file output组件 Kettle整合大数据平台 Kettle整合Hadoop 1、查看hadoop的文件系统 通过浏览器访问 ... -
KETTLE使用教程
2018-05-09 13:54:05Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。Kettle简介:Kettle是一款国外开源的ETL工具,纯... -
kettle etl工具
2018-11-11 21:51:33详细介绍kettle中的各个组件。介绍实战中一些问题的处理。 -
kettle之linux使用kettle
2019-02-26 10:23:00Kettle可以在Window、Linux、Unix上运行,数据抽取高效稳定,使用之前需要准备环境。 准备java环境,这里就不赘述了,建议jdk7以上版本。 上传kettle压缩包,并解压,我解压的路径是/usr/soft/kettle 以下是重点:... -
【Kettle】—— Kettle增量同步变动数据
2018-11-07 00:15:56最近在用kettle同步数据的时候,有增量同步的需求。 之前也遇到过这个需求,查阅了很多文章,也试了很多方法,都没有实现我所需的简洁的方式。 这回在我一次次尝试无果的情况下,突然间的灵光一闪,让我豁然开朗,... -
kettle 下载
2020-12-16 11:05:311、第一步:搜索 kettle官网 2、打开kettle 官网 选择要下载的版本 3、选择版本下载即可 -
KETTLE——初见KETTLE
2016-01-22 17:05:03就在前一段时间,因为公司需要突然被老大告知要用一个ETL工具,第一次订到这么个工具,完全不知道是做什么的。...3.开始了解KETTLE,(连接为KETTLE的开源社区网) 4.下载KETTLE(PS:同样都是要学习, -
Kettle初识
2018-12-13 17:44:59Kettle初识 Kettle初识 [推荐]参考URL: https://www.jianshu.com/p/2a7ace927825 Kettle是一款采用纯JAVA实现的开源ETL工具,属于开源商务智能软件Pentaho的一个重要组成部分。Kettle提供一系列的组件用于完成... -
kettle调用
2013-09-16 09:55:28很好的java调用kettle,使大家更好的利用kettle转换数据,提取数据 -
Kettle入门——Kettle基本概念
2017-10-10 20:48:39kettle教程 -
【Kettle】Kettle入门解析(一)
2020-04-20 11:46:59一、Kettle概述 【1】什么是Kettle? Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定 【2】Kettle核心知识 1)Kettle工程存储方式 1、以XML形式存储... -
Kettle>Kettle整合Hive
2020-05-02 01:08:11文章目录启动hive服务初始化数据kettle与Hive整合Test11 [hive- –excel]Test12 [excel-hive]Test13 SQL脚本(Hive) 启动hive服务 #启动 hiveserver2 hive --service hiveserver2 & #启动 metastore hive --... -
Kettle入门
2019-10-09 15:08:17Kettle: Kettle是什么? Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,... -
Kettle 4.4.0 API
2016-05-04 10:44:44Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。
-
Redis的配置文件
-
python canvas画移动物体_在Tkinter画布中移动球
-
C/C++反汇编解密
-
vue3从0到1-超详细
-
MySQL 数据库的基本操作(数据完整性约束)
-
python c++情侣网名含义_python与C、C++混编的四种方式(小结)
-
朱老师鸿蒙系列课程第1期-3.鸿蒙系统Harmonyos源码配置和管理
-
nacosSync-server.jar
-
MySQL 存储过程(创建海量数据实验环境)
-
python c++什么梗_python和c++哪个好 有什么区别
-
java 单循环链表_java数据结构-04单循环链表(示例代码)
-
OCR识别工具.zip
-
论文分享-index
-
soot java_soot: Soot - A Java optimization framework
-
java 通配符 匹配_Java实现 LeetCode 44 通配符匹配
-
java final域_java内存模型之-final域
-
python class namedtuple 效率_技巧36-改进的Namedtuples.ipynb
-
3-6岁造型第1课我画城堡.ppt
-
《文件过滤及内容编辑处理命令》
-
MySQL 视图