精华内容
下载资源
问答
  • kettle 项目基础进阶实战(二)
    千次阅读
    2019-04-23 06:35:08

    课程地址

    kettle 8.2数据仓库 零基础快速入门(一):www.boxuegu.com/freecourse/…

    kettle 8.2 sakila数据库 ETL项目基础进阶实战(二):www.boxuegu.com/freecourse/…

    kettle 8.2 大数据整合构建企业大数据开发环境(三):www.boxuegu.com/freecourse/…

    课程简介 ETL工程师,在数据仓库类职位中占有很大比例,而且薪水都不差。kettle里面的基础控件非常的多,但是在开发中如灵活的配合使用应该根据开发的需求为基础。sakila项目采用项目实战的方式来完成维度表和事实表的加载。

    适合人群 1 对数据仓库感兴趣的高校学生和教师

    2 在职的IT人员

    课程亮点 ①知识点融合实战项目

    ②全面整合使用kettle的组件

    主讲内容 ①sakila项目简介

    ②加载日期维度表

    ③加载时间维度表

    ④加载员工维度表

    ⑤加载用户维度表

    ⑥加载商店维度表

    ⑦加载演员维度表

    ⑧加载租赁事实表

    ⑨整体作业加载

    课程细节 1-1-1 01 sakila业务简介

    1-1-2 02 sakila数据库的表和总体设计规范

    1-1-3 03 sakila数据库表之间的关系和字段

    1-1-4 04 创建sakila数据库和插入数据

    1-1-5 05 维度建模的基本概念

    1-1-6 06 维度建模的三种模式和命名规范

    1-1-7 07 管理维度表各种键和缓慢变化维的处理

    1-1-8 09 sakila数据仓库模型简介

    1-1-9 10 创建sakila_dwh数据仓库的库和表

    1-1 sakila项目简介

    1-2-1 01 dim_date表结构

    1-2-2 02 生成十年记录和增加日期序列

    1-2-3 03 生成日期date

    1-2-4 04 生成短、中、长、全日期

    1-2-5 05 生成天在年和月的第几天、星期名称和缩写、一年的第几周和一月的第几周

    1-2-6 06 生成月份、月的名称、月的缩写、两位和四位的年

    1-2-7 07 生成季度和季度名称

    1-2-8 08 生成是否周的第一天和周的最后一天

    1-2-9 09 是否为月的第一天和最后一天、年季度、年月份、年月缩写、日期代理键

    1-2-10 10 加载数据到日期维度表

    1-2 加载日期维度

    1-3-1 01 时间维度表结构

    1-3-2 02 生成时数据

    1-3-3 03 生成分秒的数据、进行时分秒的笛卡儿积关联输出

    1-3-4 04 生成时间属性、加载时间维度表数据

    1-3 加载时间维度

    1-4-1 01 员工维度表结构

    1-4-2 02 获取员工维度表上次更新的时间

    1-4-3 03 从员工表中加载最新数据、字段选择、值映射

    1-4-4 04 加载SCD2的员工维度表数据

    1-4 加载员工维度

    1-5-1 01 用户维度表结构

    1-5-2 02 获取上次更新的时间、从customer表中加载最新的数据

    1-5-3 03 构建映射、查询Address、City、Country表

    1-5-4 04 判断是否有第二地址、地址连接、字段选择

    1-5-5 05 字段选择、值映射、加载最新用户维度数据

    1-5 加载用户维度

    1-6-1 01 商店维度表结构

    1-6-2 02 加载商店维度数据

    1-6 加载商店维度

    1-7-1 01 演员维度表结构

    1-7-2 02 加载最新的演员维度数据

    1-7 加载演员维度

    1-8-1 01 电影维度表结构

    1-8-2 02 获取上次更新时间和最新表数据

    1-8 加载电影维度

    1-9-1 01 租赁事实表结构

    1-9-2 02 加载租聘事实表数据、字段选择

    1-9-3 03 处理租聘周期

    1-9-4 04 获取film_key、customer_key、staff_key、store_key

    1-9-5 05 添加常量count_rentals、加载事实表数据

    1-9 加载租赁事实

    1-10-1 01 构建load_rentals作业

    1-10 加载作业

    作者:基哥927 来源:CSDN 原文:blog.csdn.net/qinjiquan/a… 版权声明:本文为博主原创文章,转载请附上博文链接!

    转载于:https://juejin.im/post/5cbeb208e51d456e8240dcfd

    更多相关内容
  • 至此,通过接口API,POST请求参数,取到本地数据库就基本完成了,如有疑问,欢迎评论 上一章:Kettle进阶之一 通过接口API链接取到本地数据库https://blog.csdn.net/qq_43015592/article/details/107492562

    有时候,上一章讲解是以GET方式请求,直接连接就可以获取,如果为POST请求方式呢,需要传入JSON参数,那我下面以请求钉钉打卡里面获取考勤数据为演示(都是工作中实战练习),如果想看如何获取钉钉API可以看下一章

    POST:需要传入指定JSON参数,不能在浏览器直接预览

    GET:可传入也不用传入,可以在浏览器直接预览

    操作步骤

    1、运行软件,进入主界面。点击左上角的 文件 → 新建 → 转换新建一个转换,并保存,转换的后缀名为ktr。

    2、点击面板左侧的 主对象树 ,选择 DB连接 右键,选择 新建 或 新建数据库连接向导 分别创建对数据库A和数据库B的连接。

    注意: 如果在点击测试连接时出现下图所示错误,检查我们的安装目录下的lib中是否有对应数据库连接的jar包文件(如mysql的jar文件:mysql-connector-java-5.1.6-bin.jar),下载对应的jar,放到lib文件夹下,重启kettle软件,即可。

    2、用POST连接在浏览器直接预览是会报错,所以要用到其它工具Kettle,SDK,JAVA,PostMan等预览(这些工具后续会慢慢发布演示,可以关注下)

    3、下面图什么意思呢,就是你就算用POST请求,但是没有传入指定JSON参数,还是会空不显示内容报错(post是必须传入参数的)

    4、用生成记录,将URL地址,Body写入json数据参数(不知道自己json是不是正确的可以访问地址检测:http://json.cn/),method 请求方式,Content-Type 传入类型为JSON,最后预览,跟之前讲解一样,必须预览

    5、拉入Rest client>>Accept url from field✔(http记得选POST了在勾选,不然Body不显示)>>method fie name:method,会自动获取生产记录里面的参数,如果没有获取到,就是上面有问题>>body field:body>>Application type:JSon

    å¨è¿éæå¥å¾çæè¿°

    6、拉入JSON Inout 。从数据源取源:result(根据我的测试,这个参数是我们自己设定的参数)>>进入字段,设置需要显示的字段

    7、我为了演示用excel输出,最后的方式简单,都大致一样,内容参数可以看我上一章

    8、最后运行跑一便,一切正常

    至此,通过接口API,POST请求参数,取到本地数据库就基本完成了,如有疑问,欢迎评论


    上一章:Kettle进阶之一 通过接口API链接取到本地数据库https://blog.csdn.net/qq_43015592/article/details/107492562

    展开全文
  • Kettle(二)进阶

    2021-09-24 14:03:57
    本文主要:kettle 的实际案例 视频链接: https://www.bilibili.com/video/BV1H4411D7wh?p=2&spm_id_from=pageDriver 目录 一、背景 一、背景

    本文主要:kettle 的实际案例
    视频链接: https://www.bilibili.com/video/BV1H4411D7wh?p=2&spm_id_from=pageDriver

    目录

    一、背景

    在这里插入图片描述

    在这里插入图片描述

    展开全文
  • 检查本地数据库,接口的数据是否在我们本地数据库 至此,Kettle的API接口取数就基本完成了 上一章:Kettle入门之五 Kettle应用场景(增量插入和更新)https://blog.csdn.net/qq_43015592/article/details/107470146

    有时候,一般并不是本地数据取数到本地,客户一般是链接形式给我们,从链接API接口取数到我们数仓(数据库),

    以下讲解实战操作

    操作步骤

    1、运行软件,进入主界面。点击左上角的 文件 → 新建 → 转换新建一个转换,并保存,转换的后缀名为ktr。

    2、点击面板左侧的 主对象树 ,选择 DB连接 右键,选择 新建 或 新建数据库连接向导 分别创建对数据库A和数据库B的连接。

    注意: 如果在点击测试连接时出现下图所示错误,检查我们的安装目录下的lib中是否有对应数据库连接的jar包文件(如mysql的jar文件:mysql-connector-java-5.1.6-bin.jar),下载对应的jar,放到lib文件夹下,重启kettle软件,即可。

    点击面板左侧的 核心对象 ,选择 输入文件夹下的 表输入 并把它拖到右侧的编辑区中

    3. 首先会有客户的一个API文档说明(客户不同,内容不同,大致相同)

    4、将链接复制到浏览器,会得到一堆JSON值以及参数

    5、客户链接一般不止一个,为了方便取数,我们将URL地址全部手动维护到需要转入的(数仓)数据库,

    6、双击表输入,输入SQL查询第一个URL地址,必须点击预览,否则后面会没有数据

    7、拉入一个HTTP client,目的1:取我们手工维护URL表的URL字段(我的是字段叫URL)。2:获取链接地址的返回结果字段(result)

    8、双击HTP client,选择从字段中获取URL,URL字段名这个东西就是图7 说明的 你手工维护表字段名。下面的j结果字段名就是客户所给的信息里面的result请求结果参数,Fields不用填

     9、这个字段意思是编码格式,如果客户数据库编码GBK,你的是UTF8,如果这里不改,内容会乱码

    10、开始获取链接地址里面的字段

    11、双击JSON Input,填写内容=文件:源定义在一个字段里✔。从字段获取源:result。如果之前内容合适,下拉会自动展现

    11.1 开始输入字段参数,继续选择字段,里面有名称为API里面的字段名,路径固定格式$.data.[*].字段名

    (说明:data为返回参数,客户提供,一般就是data,[*]意思就是里面内容比较对,我们以数组方式获取,如果没有可以不选)

    12、根据我的图顺序走,数据库连接>>目标表(意思就是数据要引入到哪个表,表点击下面sql自动创建)>>获取字段(会通过JSON input获取到字段,然后调试左边不需要的字段)>>一定要运行sql(可以删除创建引入表所需要的东西)

    13、点击sql>>执行>>关闭

    14、到这里,我们从API取数已经建立完成了,点击“校验这个转换”,Kettle会校验并给出简单的报告。没有任何问题。

    16、点击“运行这个转换”,选择“本地执行”,点击“启动”来执行这个转换。

    17、转换成功后,我们可以在控制台中看到如下信息。检查本地数据库,接口的数据是否在我们本地数据库

    至此,Kettle的API接口取数就基本完成了


    上一章:Kettle入门之五 Kettle应用场景(增量插入和更新)https://blog.csdn.net/qq_43015592/article/details/107470146

    下一章:Kettle进阶之二 通过接口API,POST请求参数,取到本地数据库(以钉钉实战操作演示)https://blog.csdn.net/qq_43015592/article/details/107519418

    展开全文
  • kettle进阶之database join

    千次阅读 2018-10-25 10:51:16
    这并不是一篇入门教学,且不是一篇高阶教学,仅仅针对kettle的database join。 那么问题来了,kettle的database join是什么?简而言之,不同库之间sql语句传值(个人自定义,如有不当,请海涵)。 案例1——一条数据...
  • Kitchen是kettle用来启动job的工具,用户可以通过Kitchen.sh脚本执行Job任务。现在我们来看Kitchen是如何运行一个Job的。 打开Kitchen源码进入main()方法我们首先看到其初始化了一个ExecutorService,该executor...
  • Kettle是一款非常著名的ETL工具,何谓ETL?ETL就是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程。对于企业级的开发或应用,会遇到种种的数据转换,迁移等工作,所以作为开发者掌握ETL工具是必须的,...
  • kettle 教程(一):简介及入门

    千次阅读 2021-07-28 06:08:30
    介绍kettle 是纯 java 开发,开源的 ETL工具,用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。 kettle 的官网是 ...
  • 1、Kettle循环的使用; 2、Kettle从MySQL读输入数据控件的使用; 3、Kettle导出Excel控件的使用; 4、时间日期的循环自增; 二、涉及到的Kettle控件: 1、设置变量控件:用于实现设置循环的起始、终止时间; ...
  • Kettle是一款非常著名的ETL工具,何谓ETL?ETL就是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程。对于企业级的开发或应用,会遇到种种的数据转换,迁移等工作,所以作为开发者掌握ETL工具是必须的,...
  • kettle教程二

    2016-11-24 21:07:00
    2、2 实例2:全面进阶的一个稍微复杂的例子 根据客户,帐户,交易表中的数据,生成对应的数据文件,将数据文件可以导入到对应表中,并且可以用job来调用整个流程。 目标: 1),提交对应的Kettle文件 2),...
  • kettle从入门到精通,让你真正掌所掌商业智能的能力。了解真正的ETL过程 此系列课程共20集,有真实项目,本课为完整版。
  • 一小步的进阶首先理解实际问题! 确认问题类型– 如:数值计算,求最小值个数 确认求解的步骤– 如:打开文件,读数据,关闭文件,计算和问题:如何判断求解步骤的好坏 通过下面的例子说明: #include <...
  • kettle最新资料.rar

    2019-10-10 11:31:52
    kettle进阶培训-参数 7天学会kettle kettle最新介绍 希望能帮到您。
  • KETTLE中文版的详细使用文档,含数据清洗方法论,适合入门和进阶使用,含一定案例。
  • Kettle Spoon入门教程

    千次阅读 2020-12-16 16:47:10
    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。 Spoon通过图形化的页面,方便直观的...
  • kettle是纯Java开发,开源的ETL工具,用于数据库之间的数据迁移。 可以在Linux,Windows,unix中运行,邮图像界面,也有命令脚本还可以二次开发 kettle官网: ...
  • kettle调用存储过程和函数实例

    千次阅读 2021-06-18 16:00:19
    位置 作用:连接Oracle数据库后,可以调用数据库已有的存储过程 示例: 建立简单的存储过程: CREATEORREPLACEPROCEDUREPRO_SUM (a INNUMBER,b OUTNUMBER) AS BEGIN b:=a*2; END; ......
  • kettle8.2sakila数据库ETL项目基础进阶实战(二):www.boxuegu.com/freecourse/… kettle8.2大数据整合构建企业大数据开发环境(三):www.boxuegu.com/freecourse/… 课程简介 ETL工程师,在数据...
  • 现在公司使用的都是8.3稳定版本的开源Pentaho,也就是习惯称呼的Kettle。一般把Pentaho server安装在linux服务器上,使得server稳定运行,在Windows系统下安装客户端PDI使用。 客户端PDI连接Pentaho server的...
  • kettle(Pentaho)job作业并行都执行完后再执行下一步的操作 在转换中,因为转换的所有步骤都是同时启动的,所以用到阻塞这一个组件实现等待的需求。 “阻塞数据直到转换都完成”的使用: 1、转换步骤名称...
  • ETL工具--kettle

    万次阅读 2018-08-24 11:09:03
    ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的...这里我们聊聊kettle的学习吧(如果你有一定的kettle使用,推荐看...
  • Kettle构建Hadoop ETL实践(一):ETL与Kettle

    千次阅读 多人点赞 2020-08-13 18:21:32
    目录 一、ETL基础 1. 数据仓库架构中的ETL 2. 数据抽取 (1)逻辑抽取 (2)物理抽取 (3)变化数据捕获 3. 数据转换 4. 数据装载 5. 开发ETL系统的方法 ...三、Kettle简介 ...1. Kettle设计原则 2
  • Kettle实战视频教程

    2021-05-07 17:16:37
    掌握kettle的基础知识,进阶知识和实际工作中的各种情况 适合人群: 1、熟悉数据库,想学习ETL的同学,想快速提升竞争力的ETL工程师 2、运维相关工作人员 课程目标: 能够掌握实际工作中遇到的迁移和业务各种实际...
  • Kettle的安装及使用

    千次阅读 2018-08-26 16:36:36
    kettle是什么? ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少。kettle...
  • Kettle执行python脚本

    千次阅读 2020-11-20 17:16:19
    kettle的作业中有一个Shell组件,通过这个组件并选择好python环境,即可执行py文件,示例任务如下: 其中,工作路径选择python.exe的目录,脚本选择相应文件即可。 但是,执行后报错或者发现py文件没有被执行...
  • 一招教你用Kettle整合大数据和Hive,HBase的环境!

    万次阅读 多人点赞 2020-04-29 15:27:40
    所以本篇博客,博主为大家带来Kettle集成配置大数据的教程,为下一篇Kettle进阶操作做铺垫! 文章目录Kettle集成大数据1. 修改配置文件2. 移动jar包路径3.上传集群核心配置文件到本地并替换4.测试1.
  • 1. 确保作业 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或转换$KETTLE_HOME/pan.sh -file=/data1/testdata/testktr.ktr 能在Linux下正常执行此步骤在JDK配置正确,(Ps.可选择配置Kettle的环境变量...

空空如也

空空如也

1 2 3 4 5 ... 16
收藏数 316
精华内容 126
关键字:

kettle进阶