kettle 订阅
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 展开全文
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
信息
产    品
Spoon、Pan、CHEF、Kitchen
最新版本
绿色无需安装
特    点
transformation和job,
中文名
水壶
外文名
Kettle
Kettle介绍
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。作为Pentaho的一个重要组成部分,现在在国内项目应用上逐渐增多。
收起全文
精华内容
下载资源
问答
  • Kettle

    千次阅读 2020-04-20 19:09:01
    一、Kettle概述 01 什么是Kettle? 02Kettle核心知识 二、Kettle安装部署 01 Kettle安装地址 02 Windows下安装使用 三、Kettle入门案例 案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据 (4) ...

    目录

    一、Kettle概述

    01 什么是Kettle?

    02 Kettle核心知识

    二、Kettle安装部署

    01 Kettle安装地址

    02 Windows下安装使用

    三、Kettle入门案例

    案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据

    (4) 实战流程如下

    查看MySQL数据库,效果和我们的需求一致 !

    案例二:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2

    (3) 实战流程如下

    然后执行和之前一样保存,执行,效果如下

    查看MySQL中的表数据

    可以看到不仅stu1的数据更新到了stu2中,并且我们自定义的SQL插入操作的数据也存在


    一、Kettle概述

    01 什么是Kettle?

    Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定

    02 Kettle核心知识

    1)Kettle工程存储方式

    1、以XML形式存储
    2、以资源库方式存储(数据库资源库和文件资源库)

    2)Kettle的两种设计

    3)Kettle的组成

    4)Kettle特点

    二、Kettle安装部署

    01 Kettle安装地址

     

    1)官网地址

    https://community.hitachivantara.com/docs/DOC-1009855
    
    •  

    2)下载地址

    https://sourceforge.net/projects/pentaho/files/Data%20Integration/

    02 Windows下安装使用

     

    1) 概述
    在实际企业开发中,都是在本地环境下进行Kettle的Job和Transformation开发的,可以在本地运行,也可以连接远程机器运行

    2)安装
    1)安装JDK
    2)下载Kettle压缩包,因Kettle为绿色软件,解压缩到任意本地路径即可(路径不要有中文)
    3)双击Spoon.bat,启动图形化界面工具,就可以直接使用了(第一次启动可能有点慢,属于正常现象)

     

    三、Kettle入门案例

    案例一:把stu1的数据按id同步到stu2,stu2有相同id则更新数据

    (1) 将MySQL驱动Jar包放到Kettle的lib目录下,然后重启Kettle

    (2) 在mysql中创建两张表stu1、stu2

    create database kettle;
    
    use kettle;
    
    create table stu1(id int,name varchar(20),age int);
    
    create table stu2(id int,name varchar(20));
    

    (3) 往两张表中插入一些数据

    insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);
    
    insert into stu2 values(1001,'wukong');
    

    原始数据如下

    最终效果如下

    (4) 实战流程如下

     

    案例二:使用Job作业方式调度转换操作,并使用SQL插入数据到stu2

    (1) 使用案例1的表,先清空数据

    truncate table stu1
    
    truncate table stu2
    

    (2) 往两张表中插入一些数据

    insert into stu1 values(1001,'zhangsan',20),(1002,'lisi',18), (1003,'wangwu',23);
    
    insert into stu2 values(1001,'wukong');
    

    (3) 实战流程如下

    展开全文
  • kettle

    千次阅读 2018-09-06 16:03:02
    kettle是一款开源的ETL工具,用于数据的抽取和清洗。 最近在研究kettle,将遇到的问题一一备注起来,希望能给他人带来帮助! 我使用的是kettle7.1,kettle是纯Java写的,所以需要安装JDK,kettle7.1对应的JDK最低...

    kettle是一款开源的ETL工具,用于数据的抽取和清洗。

    最近在研究kettle,将遇到的问题一一备注起来,希望能给他人带来帮助!

    我使用的是kettle7.1,kettle是纯Java写的,所以需要安装JDK,kettle7.1对应的JDK最低版本是JDK1.8.

    kettle到官网下载即可:https://community.hitachivantara.com/docs/DOC-1009855

     

    1. kettle之资源库

     

    展开全文
  • KETTLE

    2019-03-27 19:17:39
    添加kettle环境:

    添加kettle环境:

     

     

    展开全文
  • kettle精讲

    千人学习 2019-03-23 13:16:29
    kettle精讲,本节课程主要包括kettle基础的表输入、增量更新、同步更新、定时任务,学完可以基本满足企业的日常开发需要
  • kettle调度监控平台(kettle-scheduler)开源

    万次阅读 多人点赞 2018-11-15 17:28:36
    Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在...
    • 背景

    Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。

    • 项目介绍

    Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation。KS整体的框架是由spring+sprin gmvc +beetlsql整合而成,通过调用kettle的API来执行转换和作业,并且使用quartz框架完成调度工作。

    此版本基于kettle-8.0.0.0-28版本的API开发的,目前可以基本支持所有的组件,包括大数据组件(hbase、hive、hdfs等)。

    项目源码:https://github.com/zhaxiaodong9860/kettle-scheduler(不要忘了给个star哦)

    发布版本:https://pan.baidu.com/s/1DX2aCLlOIieHjuNcwn2_-w 提取码 提取码: 52r8 

    kettle8.0工具下载地址:点击下载

    • 部署

    1.基础环境

             操作系统:windows(linux类似)

             预装软件:jdk1.8、mysql、tomcat、kettle8.0

    2.将源码中kettle-scheduler.sql导入mysql数据库。

    3.将源码编译打包后解压到tomcat下的webapps目录下。

    4.配置km\WEB-INF\classes\resource\db.properties

    jdbc.driver=com.mysql.jdbc.Driver   //mysql驱动
    jdbc.url=jdbc:mysql://192.22.107.97:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8&useUnicode=true&useSSL=false   //mysql的jdbc url
    jdbc.username=root  //mysql用户名
    jdbc.password=123456   //mysql密码
    

     

    5.配置km\WEB-INF\classes\resource\ kettle.properties

    # Kettle Properties  
    #绝对路径,用于初始化kettle环境变量(.kettle/kettle.properties所在路径),指向kettle根目录(例如 D:\data-integration)
    kettle.home=D:\\data-integration
    #绝对路径kettle下plugins文件
    kettle.plugin=E:\\zhaxiaodong\\apache-tomcat-9.0.12\\bin\\plugins
    #相对路径,不需要改,暂时没有查出有什么用
    kettle.script=Html\\js\\libs\\url
    #日志级别
    kettle.loglevel=detail
    #kettle日志存放路径
    kettle.log.file.path=D:\\data-integration\\logs
    #保存上传文件转换(.ktr)或作业(.kjb)的路径,此功能未调试,暂时停用,待开发
    kettle.file.repository=D:\\data-integration\\test

     

    6.需要用到大数据组件的:将data-integration目录下的simple-jndi、system和plugins文件夹拷贝到apache-tomcat-9.0.12\bin目录下

    不需要用到大数据组件的:将kettle-scheduler/src/main/resources目录下kettle-lifecycle-listeners.xmlkettle-registry-extensions.xml删除。

    7.启动tomcat

              Windows:apache-tomcat-9.0.12\bin\startup.bat;

                          Linux: apache-tomcat-9.0.12\bin\startup.sh;

    8.访问http://localhost:8080/km进入系统。注意:km为解压到tomcat/webapps下的项目的文件夹名称,一般源码编译后为kettle-scheduler,即可访问http://localhost:8080/kettle-scheduler。localhost为部署的服务器IP。

     

    • 使用说明

    1.登陆

            访问http://localhost:8080/km进入登陆界面,用户名admin,密码admin

    2.首页

    首页主要是显示监控信息,当一个任务(作业或转换)启动后,这个任务就处于被系统的监控状态下,首页展示了总监控任务数、监控作业数、监控转换数、转换监控记录(仅显示5条)、作业监控记录(仅显示5条)以及7天内作业和转换的监控状况。

     

    3.资源库管理

    管理kettle数据库资源库的信息,可以新增、修改、删除数据库资源库。

    4.任务管理 – 作业管理

    管理作业定时任务,可以新增、修改、删除作业定时任务,启动后作业即开始运行。

    5.任务管理 – 转换管理

    管理转换定时任务,可以新增、修改、删除转换定时任务,启动后转换即开始运行。

    6.任务管理 – 执行策略

    管理执行策略,可以新增、修改、删除执行策略(定时执行策略)。

    7.监控管理 – 作业监控

    处于运行的作业会被系统监控,此处显示被监控的作业的监控信息,包括总作业任务数、总执行成功次数、总执行失败次数以及每个作业的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。

    8.监控管理 – 转换监控

    处于运行的转换会被系统监控,此处显示被监控的转换的监控信息,包括总转换任务数、总执行成功次数、总执行失败次数以及每个转换的成功次数和失败次数。查看详情页面还可以查看每次执行的日志及执行时间,日志还可下载。

    9.用户管理

    此菜单只有admin用户登陆时显示,用户管理用户,admin用户可以新增用户、编辑用户、删除用户。

    最后希望大家可以一起维护此项目,如有问题可加入qq群提问

    点击链接加入群聊

    【kettle-scheduler交流QQ群:817362677(已满)】

    【kettle-scheduler交流QQ群2:821614032(已满)】

    【kettle-scheduler交流QQ群3:553956378】

    展开全文
  • Kettle — 使用手册

    万次阅读 多人点赞 2018-09-11 17:35:42
    介绍 ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD...Kettle是ETL中其中一个开源工具,基于纯Java开发。 kettle有两种脚本transformation(转换)和Job(作业) Kettle有三个主要组件:Spoon、Kitchen、P...
  • kettle 8.2

    2019-01-18 23:12:19
    kettle 8.2 安装包 。
  • 我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较
  • kettle下载

    2019-02-20 14:54:20
    KETTLE资源下载,最新版,文档无误,提供文档支持,技术询问
  • ETL kettle

    万次阅读 2018-09-01 15:26:47
    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle...
  • Kettle手册

    2018-06-15 09:32:46
    大数据ETL工具Kettle使用教程,中文教程,希望对大家有帮助
  • Kettle> Kettle整合Hadoop

    2020-05-02 00:26:32
    文章目录Kettle整合大数据平台Kettle整合Hadoopkettle与hahoop环境整合Hadoop file input组件Hadoop file output组件 Kettle整合大数据平台 Kettle整合Hadoop 1、查看hadoop的文件系统 通过浏览器访问 ...
  • KETTLE使用教程

    万次阅读 多人点赞 2018-05-09 13:54:05
    Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。Kettle简介:Kettle是一款国外开源的ETL工具,纯...
  • kettle etl工具

    千人学习 2018-11-11 21:51:33
    详细介绍kettle中的各个组件。介绍实战中一些问题的处理。
  • kettle之linux使用kettle

    2019-02-26 10:23:00
    Kettle可以在Window、Linux、Unix上运行,数据抽取高效稳定,使用之前需要准备环境。 准备java环境,这里就不赘述了,建议jdk7以上版本。 上传kettle压缩包,并解压,我解压的路径是/usr/soft/kettle 以下是重点:...
  • Kettle】—— Kettle增量同步变动数据

    万次阅读 热门讨论 2018-11-07 00:15:56
    最近在用kettle同步数据的时候,有增量同步的需求。 之前也遇到过这个需求,查阅了很多文章,也试了很多方法,都没有实现我所需的简洁的方式。 这回在我一次次尝试无果的情况下,突然间的灵光一闪,让我豁然开朗,...
  • kettle 下载

    2020-12-16 11:05:31
    1、第一步:搜索 kettle官网 2、打开kettle 官网 选择要下载的版本 3、选择版本下载即可
  • KETTLE——初见KETTLE

    2016-01-22 17:05:03
    就在前一段时间,因为公司需要突然被老大告知要用一个ETL工具,第一次订到这么个工具,完全不知道是做什么的。...3.开始了解KETTLE,(连接为KETTLE的开源社区网) 4.下载KETTLE(PS:同样都是要学习,
  • Kettle初识

    千次阅读 2018-12-13 17:44:59
    Kettle初识 Kettle初识 [推荐]参考URL: https://www.jianshu.com/p/2a7ace927825 Kettle是一款采用纯JAVA实现的开源ETL工具,属于开源商务智能软件Pentaho的一个重要组成部分。Kettle提供一系列的组件用于完成...
  • kettle调用

    2013-09-16 09:55:28
    很好的java调用kettle,使大家更好的利用kettle转换数据,提取数据
  • kettle教程
  • KettleKettle入门解析(一)

    千次阅读 多人点赞 2020-04-20 11:46:59
    一、Kettle概述 【1】什么是KettleKettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定 【2】Kettle核心知识 1)Kettle工程存储方式 1、以XML形式存储...
  • Kettle>Kettle整合Hive

    2020-05-02 01:08:11
    文章目录启动hive服务初始化数据kettle与Hive整合Test11 [hive- –excel]Test12 [excel-hive]Test13 SQL脚本(Hive) 启动hive服务 #启动 hiveserver2 hive --service hiveserver2 & #启动 metastore hive --...
  • Kettle入门

    2019-10-09 15:08:17
    KettleKettle是什么? Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,...
  • Kettle 4.4.0 API

    2016-05-04 10:44:44
    Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。 Kettle 4.4版本的Java API。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,063
精华内容 5,225
关键字:

kettle