kettle 订阅
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 展开全文
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
信息
产    品
Spoon、Pan、CHEF、Kitchen
最新版本
绿色无需安装
特    点
transformation和job,
中文名
水壶
外文名
Kettle
Kettle介绍
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。作为Pentaho的一个重要组成部分,现在在国内项目应用上逐渐增多。
收起全文
精华内容
下载资源
问答
  • Kettle

    千次阅读 2020-04-20 19:09:01
    一、Kettle概述 01 什么是Kettle? 02Kettle核心知识 二、Kettle安装部署 01 Kettle安装地址 02 Windows下安装使用 三、Kettle入门案例 案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据 (4) ...

    目录

    一、Kettle概述

    01 什么是Kettle?

    02 Kettle核心知识

    二、Kettle安装部署

    01 Kettle安装地址

    02 Windows下安装使用

    三、Kettle入门案例

    案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据

    (4) 实战流程如下

    查看MySQL数据库,效果和我们的需求一致 !

    案例二:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2

    (3) 实战流程如下

    然后执行和之前一样保存,执行,效果如下

    查看MySQL中的表数据

    可以看到不仅stu1的数据更新到了stu2中,并且我们自定义的SQL插入操作的数据也存在


    一、Kettle概述

    01 什么是Kettle?

    Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定

    02 Kettle核心知识

    1)Kettle工程存储方式

    1、以XML形式存储
    2、以资源库方式存储(数据库资源库和文件资源库)

    2)Kettle的两种设计

    3)Kettle的组成

    4)Kettle特点

    二、Kettle安装部署

    01 Kettle安装地址

     

    1)官网地址

    https://community.hitachivantara.com/docs/DOC-1009855
    
    •  

    2)下载地址

    https://sourceforge.net/projects/pentaho/files/Data%20Integration/

    02 Windows下安装使用

     

    1) 概述
    在实际企业开发中,都是在本地环境下进行Kettle的Job和Transformation开发的,可以在本地运行,也可以连接远程机器运行

    2)安装
    1)安装JDK
    2)下载Kettle压缩包,因Kettle为绿色软件,解压缩到任意本地路径即可(路径不要有中文)
    3)双击Spoon.bat,启动图形化界面工具,就可以直接使用了(第一次启动可能有点慢,属于正常现象)

     

    三、Kettle入门案例

    案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据

    (1) 将MySQL驱动Jar包放到Kettle的lib目录下,然后重启Kettle

    (2) 在mysql中创建两张表stu1、stu2

    create database kettle;
    
    use kettle;
    
    create table stu1(id int,name varchar(20),age int);
    
    create table stu2(id int,name varchar(20));
    

    (3) 往两张表中插入一些数据

    insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);
    
    insert into stu2 values(1001,'wukong');
    

    原始数据如下

    最终效果如下

    (4) 实战流程如下

     

    案例二:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2

    (1) 使用案例1的表,先清空数据

    truncate table stu1
    
    truncate table stu2
    

    (2) 往两张表中插入一些数据

    insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);
    
    insert into stu2 values(1001,'wukong');
    

    (3) 实战流程如下

    展开全文
  • kettle

    千次阅读 2018-09-06 16:03:02
    kettle是一款开源的ETL工具,用于数据的抽取和清洗。 最近在研究kettle,将遇到的问题一一备注起来,希望能给他人带来帮助! 我使用的是kettle7.1,kettle是纯Java写的,所以需要安装JDK,kettle7.1对应的JDK最低...

    kettle是一款开源的ETL工具,用于数据的抽取和清洗。

    最近在研究kettle,将遇到的问题一一备注起来,希望能给他人带来帮助!

    我使用的是kettle7.1,kettle是纯Java写的,所以需要安装JDK,kettle7.1对应的JDK最低版本是JDK1.8.

    kettle到官网下载即可:https://community.hitachivantara.com/docs/DOC-1009855

     

    1. kettle之资源库

     

    展开全文
  • KETTLE kettle

    热门讨论 2010-10-20 14:03:02
    kettle KETTLE demo 对学习的人来说很有帮助.
  • kettle使用教程(超详细)

    万次阅读 多人点赞 2019-11-01 16:39:43
    今天详细详细说一下kettle 的安装,安装的版本: jdk:jdk-8u152-windows--x64 kettle:KETTLE-5.4 一、环境部署 1、安装JDK,按默认值安装即可 2、设置环境变量,如图下图 具体步骤: 1.右击我的电脑-属性-...

    今天详细详细说一下kettle 的安装,安装的版本:

    jdk:jdk-8u152-windows--x64

    kettle:KETTLE-5.4

    一、环境部署

    1、安装JDK,按默认值安装即可

    2、设置环境变量,如图下图

    具体步骤:
     1.右击我的电脑-属性-高级系统设置-环境变量-系统变量-新建
     2.变量名:JAVA_HOME
     3.变量值: JDK安装目录
    

    3、 Kettle程序打开(无需安装),如下图:

    二、资源库

    1、连接开发方案,选择资源库方式,如图

    2、录入资源库信息, 如下图:

    数据库:
    主机名称:
    数据库名称: 
    端口号: 
    账号:
    密码:

    3、选择并登录资源库,如下图:

    账号: 

    密码:

     三、资源管理

    1、文件夹建立

     2、配置数据库连接(数据源/数据仓库)

    四、方案开发

    1、新建转换,更改转换名称,选择转换归属

    2、建立表输入

    
    步骤:
    1在组件组-输入中找到组件-表输入
    2.选择数据库连接(数据源)
    3.填写SQL语句,可预览结果
    

    3、建立表输出

    步骤:
    1、在组件组-输出中找到组件-表输出
    2.建立表输入和表输出的连接
    3.选择数据库连接(数据仓库)
    4.录入目标表名,指定数据库字段
    5.获取字段
    6.执行SQL(建表)
    

    4、建立清理SQL

    *步骤:
    1在组件组-脚本中找到组件-执行SQL脚本
    2.选择数据库连接(数据仓库)#此处选择必须谨慎,避免清理了数据源的数据
    3.填写SQL语句
    4.建立与表输入的关系
    

    5、测试转换是否能正常工作

    6、新建作业,更改作业名称,选择作业归属

    7、添加组件

    *步骤:
    1在组件组-通用中找到组件-START(作业开始,用于作业调度设置)
    2.在组件组-通用中找到组件-转换(如有多个可以多次添加)
    3.通过引用指定转换文件
    4.在组件组-通用中找到组件-成功(作业结束)
    5.按执行顺序建立组件间的关系
    

    8、作业定时调度及测试,

             这样就算你可以入门了,我相信在不断的探索中你会有更多的心得的。在此也要提醒一点,KETTLE的性能可能会有不稳定的情况出现,所以注意保存你已经做过的东西。

    更新:

    很早之前写的文章,发现大家许多人想要下载安装包,我就给大家把链接顺便也找到了

    jdk下载地址:

    https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html

    Kettle下载地址:

    https://sourceforge.net/projects/pentaho/files/Data%20Integration/

    以为这就完了,no,再附加个人网盘地址:

     

    kettle下载链接:

    链接:https://pan.baidu.com/s/1tmFK1sdU7DDTT3YzoJVnwQ 
    提取码:76yw 

    点击下方链接,输入上方提取码即可
    链接:https://pan.baidu.com/s/1tmFK1sdU7DDTT3YzoJVnwQ 

    展开全文
  • kettle介绍

    2018-09-19 10:40:47
    kettle 配置hbase kettle简介 kettle分析hbase数据 kettle linux部署
  • KETTLE 使用教程

    万次阅读 多人点赞 2019-02-12 15:46:45
    Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。 Kettle简介:Kettle是一款国外开源的ETL工具...

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到教程。

    Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。

    Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。(引用百度百科

    1、Kettle的下载与安装(在本文中使用的kettle版本为6.1.0.1-196)

    2、打开kettle。

      首先解压下载下来的压缩包如:pdi-ce-6.1.0.1-196.zip

      然后打开Spoon.bat,如图所示:

      

      打开后请耐心等待一会儿时间。

    3、建立转换。

      在文件->新建装换。

      新建转换后在左边的主对象树中建立DB连接用以连接数据库。如图所示:

      

      建立数据库连接的过程与其他数据库管理软件连接数据库类似。

      注意:在数据库链接的过程中,可能会报某个数据库连接找不到的异常。那是因为你没有对应的数据库链接驱动,请下载对应驱动后,放入kettle的lib文件夹。

    4、简单的数据表插入\更新

      (1)新建表插入

      在左边的面板中选择“核心对象”,在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板。如图所示:

     

     

     

      双击拖过来的表,可以编辑表输入。

      选择数据库连接和编辑sql语句,在这一步可以点击预览,查看自己是否连接正确。

     

      (2)通过插入\更新输出到表。

      在左边面板中选择核心对象、选择“输出->插入\更新”如图所示:

     

      编辑插入更新:

      首先:表输入连接插入更新。

        选中表输入,按住shift键,拖向插入更新。

      然后:双击插入更新,编辑它。

     

      到这里基本上,这个转换就要做完了,可以点击运行查看效果,看是否有误,这个要先保存了才能运行,可以随意保存到任何一个地方。

    5、使用作业控制上面装换执行。

      使用作业可以定时或周期性的执行转换,新建一个作业。并从左边面板拖入start 和转换。

      

      双击start可以编辑,可以设置执行时间等等

      点开装换,可以设置需要执行的转换任务,比如可以执行上面我们做的转换,XXX.ktr

      最后点击运行即可。

     

      到这里,一个简单的通过作业调度的kettle就算做完了。

     

    展开全文
  • kettle精讲

    千人学习 2019-03-23 13:16:29
    kettle精讲,本节课程主要包括kettle基础的表输入、增量更新、同步更新、定时任务,学完可以基本满足企业的日常开发需要
  • kettle集群配置

    万次阅读 2019-09-18 16:08:35
    1.Windows Sever 2012 64位(Kettle_Master) 一定要有除C盘以外的其他盘存在,关闭服务器防火墙 2.Centos7.2 64位(Kettle_Slave)需要以rpm方式安装webkitgtk(安装包见附件),关闭服务器防火墙 3.Jdk1.8(window...
  • pentaho kettle 中文开发手册 Pentaho - 开放源码的商业智能平台 技术白皮书 Pentaho_Technical_Whitepaper_zh_CN
  • Kettle — 使用手册

    万次阅读 多人点赞 2018-09-11 17:35:42
    介绍 ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD...Kettle是ETL中其中一个开源工具,基于纯Java开发。 kettle有两种脚本transformation(转换)和Job(作业) Kettle有三个主要组件:Spoon、Kitchen、P...
  • kettle调度监控平台(kettle-scheduler)开源

    万次阅读 多人点赞 2018-11-15 17:28:36
    Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在...
  • Kettle 4.0.0

    2016-10-27 15:10:38
    Kettle 4.0.0
  • Kettle配置

    2018-05-17 11:46:58
    Kettle 环境配置详细步骤分解,JDK、Path、Kettle配置
  • 五人水壶系列 Pentaho Kettle系列,包括Kettle5,Kettle6的Eclipse原始环境,自定义Kettle插件包,Kettle Web管理端
  • kettle 入门

    2018-02-26 09:49:03
    kettle 入门教程,kettle 各种节点的使用介绍,适合入门学习
  • Kettle教程

    2018-09-19 17:18:59
    供大家学习Kettle使用。
  • kettle工具的web 自动调度工程,springMVC
  • kettle工具

    2019-07-05 14:15:54
    Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出
  • kettle学习

    2018-03-23 14:12:06
    kettle的学习整理,用于kettle的学习者借鉴,学习。构建数据库连接,创建数据仓存
  • 我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较
  • kettle资源

    2017-03-03 09:40:38
    kettle实例
  • kettle 文档

    2019-01-18 23:13:32
    kettle 文档 。
  • kettle源码

    2018-03-15 16:56:48
    kettle源码,版本为6.1,对于kettle在java中怎么使用调job,使用任务结束,开始监听,获得日志可联系博主
  • kettle下载

    2019-02-20 14:54:20
    KETTLE资源下载,最新版,文档无误,提供文档支持,技术询问
  • 适配了达梦数据库的kettle核心代码。
  • kettle资料

    2018-12-11 09:38:28
    kettle相关资料,比较全面,适合初学者,可以当作工具书
  • kettle etl

    2018-12-10 09:54:16
    kettle使用,用来各个数据库之间ETL数据抽取,功能比较全面。
  • 一、Kettle环境搭建 一、Windows 主要用于可视化创建数据迁移用到的ktr转换脚本、kjb作业脚本,以及脚本需要配置的DB2信息、读写性能优化信息等,也可直接在客户端完成不同数据库之间的数据迁移。 1.1 安装 1.2 使用...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 22,108
精华内容 8,843
关键字:

kettle