unix系统kettle支持吗_kettle unix - CSDN
精华内容
参与话题
  • * 纯Java编写(Java开发很好的集成),可以在windows、Linux、Unix上运行(Linux服务器流行时代下,Kettle更加受欢迎), * 数据抽取高效稳定(更更加受欢迎)。 Kettle中文名俗称“水壶”,开发目的是将各种数据...

    一、Kettle
    * Kettle是一款国外开源(免费:受欢迎)的ETL工具,
    * 纯Java编写(Java开发很好的集成),可以在windows、Linux、Unix上运行(Linux服务器流行时代下,Kettle更加受欢迎),
    * 数据抽取高效稳定(更更加受欢迎)。
    Kettle中文名俗称“水壶”,开发目的是将各种数据放到一个水壶中,然后经过各种处理加工,以特定的格式流出。

    二、Kettle-ETL
    (一)ETL
    抽取(Extract):一般抽取过程需要连接到不同的数据资源,以便为随后的步骤(转换、加载、分析、报表展示等)提供数据。数据抽取部分看上去简单而琐碎,实际上是ETL解决方案的成功实施的一个主要障碍。

    转换(Transform):任何对数据的处理过程都是转换。这些处理过程通常包括(但不限于)下面一些操作:
    1、移动数据
    2、根据规则验证数据
    3、修改数据的内容或者数据结构
    4、集成多个数据源的数据
    5、根据处理后的数据计算派生值或者聚集值

    加载(Load):将数据加载到目标系统的所有操作

    (二)、ETL实现的主要转换

    这里写图片描述

    1、对空值的处理
    如果在转换过程中捕获到某些字段存在空值,在进行加载时需要将空值替换成某一数据或者直接进行加载,不做任何转换。

    2、对数据格式的规范化
    根据业务数据源中各个字段的数据类型,进行数据格式的规范和统一。
    例如,统一将数值类型转化成字符串类型。

    3、根据业务需求进行字段的拆分或者合并
    依据业务需求对字段可进行分解。
    例如,主叫号020-88888888,可进行区域码和电话号码分解。
    区域号:020
    电话号码: 88888888

    4、对缺失数据的替换
    根据业务需求对可实现无效数据、缺失数据进行替换

    5、根据业务规则对数据进行过滤

    6、 根据编码表进行数据唯一性的转换
    根据编码表制定的业务规范进行数据的转换,实现数据仓库系统内部数据的一致性。
    对无依赖性的非法数据,可替换或导出到错误数据文件中,保证主键唯一记录的加载。

    三、ETL在BI中的作用

    这里写图片描述

    四、ETL实现方式
    1、通过Java、Python等语言,自己手工编码,编写脚本,自己开发ETL软件。
    2、购买商业的ETL工具软件。
    3、使用开源免费的ETL软件,例如Kettle。
    自己研发ETL工具软件前期开发成本过高,而商用ETL的后期维护成本过高,总的来说,使用开源的ETL工具软件最划算。

    五、ETL软件

    这里写图片描述

    商用ETL工具软件
    Informatica、IBM DataStage、Microsoft SSIS 、Oracle ODI

    开源ETL工具软件
    Kettle 、Talend、CloverETL、Ketl、Octopus

    1、Kettle软件介绍
    Kettle是一款开源的ETL(Extract Transformation Load) 工具,用来完成数据的抽取,清洗、转换和加载等数据处理方面的工作。

    2、Kettle历史
    原作者: Matt oracle工程师-3年左右拿到开源license
    License: 4.3 以前 LGPL (改动需开源),4.3 以后改为Apache 2 (可以改商业) ,当前版本:Version 4.4 (2013年) 。
    2006年 Kettle 2.2, Kettle 2.3 (Kettle 开源,License 为 LGPL)
    2007年 Kettle 2.4, Kettle 2.5(被Pentaho 公司收购,更名为 PDI)
    2008年 Kettle 3.0 ,Kettle 3.1
    2009年 Kettle 3.2 (一个使用时间较长的稳定版本)
    2K010年 Kettle 4.0 ,Kettle 4.1
    2011年 Kettle 4.2
    2012年 Kettle 4.3 ,Kettle 4.4 (License 变更为 Apache 2,支持大数据)
    2013年 Kettle 5.0

    3、Kettle特点

    这里写图片描述

    4、Kettle在国内应用

    这里写图片描述

    5、Kettle子程序的功能和启动方式
    Spoon.bat:图形界面方式启动作业和转换设计器
    Pan.bat:命令行方式执行转换
    Kitchen.bat:启动WEB服务器,用于Kettlede远程运行或集群运行。
    Encr.bat:密码加密

    6、Kettle常用控件

    这里写图片描述

    7、Kettle与Informatica
    Kettle和informatica都提供了大量的转换步骤,脚本功能,都可以处理复制的ETL转换。
    通常情况下informatica比kettle更快。informatica有下推优化,缓存查询等提高性能的手段。但是如果你对kettle和数据库有足够的了解,做一些调整,你可以提高kettle的速度,在一些情况下可以达到甚至超过informatica的速度。

    kettle的优点
    (1)kettle的易用性比informatica好,需要培训要少很多。
    (2)kettle不需要像informatica那样大的前期投入。
    (3)kettle的插件架构支持快速定制开发。

    informatica的优点
    (1)informatica的错误报告功能比kettle更友好,更容易定位错误。kettle通常只把异常抛出,需要实施人员有更丰富的经验。
    (2)informatica比kettle有更好的监控工具和负载均衡等企业级应用功能,更适合大规模的ETL应用。

    展开全文
  • Kettle定时执行(ETL工具)

    千次阅读 2018-06-05 20:13:49
     例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下: 1)进入到Kettle部署的路径 2)执行 chmod *.sh,将所有shell文件添加可执行权限 3)在Kettle路径下,如果...

    1,Kettle跨平台使用。
        例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:
        1)进入到Kettle部署的路径
        2)执行 chmod *.sh,将所有shell文件添加可执行权限
        3)在Kettle路径下,如果要执行transformation,就运行./pan.sh -file=?.ktr -debug=debug -log=log.log
        其中。-file说明你要运行的transformation文件所在的路径;-debug说明日志输出的级别;-log说明日志输出的路径
        4)同理,对于job的执行,请将./pan.sh更换成./kitchen.sh,其他部分说明不变。

    2,Kettle环境变量使用。
        在transformation中,Core Objects-->Job-->Set Variables,可以设置环境变量,对于绝对路径和相对路径的转换很有帮助,Kettle的跨平台很大程度依靠它

    3,其它功能的使用。
        其它功能包括DB存储过程调用,流查询,值映射,聚合记录等,各位自行摸索

    4,Kettle定时功能。
        在Job下的start模块,有一个定时功能,可以每日,每周等方式进行定时,对于周期性的ETL,很有帮助。

        a.使用资源库(repository)登录时,默认的用户名和密码是admin/admin。

        b.当job是存放在资源库(一般资源库都使用数据库)中时,使用Kitchen.bat执行job时,需使用如下的命令行:
    Kitchen.bat /rep kettle /user admin /pass admin /job job名

        c.当job没有存放在资源库而存放在文件系统时,使用Kitchen.bat执行job时,需使用如下的命令行:
    Kitchen.bat /norep /file user-transfer-job.kjb

        d.可以使用命令行执行job后,就可以使用windows或linux的任务调度来定时执行任务了

        e.如果出现异常语句,

           Unexpected error during transformation metadata load
           No repository defined!

        请按上面的操作排除。



    5,Kettle经验之日志。
        Kettle对于日志的处理,存在一个BUG,看过上一篇的人或许已经看到了我的留言,Kettle对于日志处理有一个BUG,当日志多于49M(不是50M,也不是49M),Kettle就会自动停止,这一点我在源码里面也没有找到对应的设置和约束,原因还找不到,因为是日志没有写,所以原因也不好跟踪还不知道具体原因。

    6,Kettle之效率提升。
        Kettle作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法:
        1)数据库端创建索引。对需要进行查询的数据库端字段,创建索引,可以在很大程度上提升查询的效率,最多的时候,我不创建索引,一秒钟平均查询4条记录,创建索引之后,一秒钟查询1300条记录。
        2)数据库查询和流查询注意使用环境。因为数据库查询为数据输入端输入一条记录,就对目标表进行一次查询,而流查询则是将目标表读取到内存中,数据输入端输入数据时,对内从进行查询,所以,当输入端为大数据量,而被查询表数据量较小(几百条记录),则可以使用流查询,毕竟将目标表读到内存中,查询的速度会有非常大的提升(内存的读写速度是硬盘的几百倍,再加上数据库自身条件的制约,速度影响会更大)。同理,对于目标表是大数据量,还是建议使用数据库查询,不然的话,一下子几百M的内存被干进去了,还是很恐怖的。
        3)谨慎使用javascript脚本,因为javascript本身效率就不高,当你使用js的时候,就要考虑你每一条记录,就要执行一次js所需要的时间了。
        4)数据库commit次数,一条记录和一百条记录commit对效率的影响肯定是不一样的。
        5)表输入的sql语句的写法。有些人喜欢在表输入的时候,将所有关联都写进去,要么from N多个表,要么in来in去,这样,就要面对我在2)里面说道的问题,需要注意。
        6)注意日志输出,例如选择数据库更新方式,而且日志级别是debug,那么后台就会拼命的输出日志,会在很大程度上影响速度,此处一定要注意。

    7,常见的调试BUG。
        Kettle提供了很多调试的解决办法,但是对于常见的调试BUG还是能避免就避免。
        1)路径问题。我最常遇到的问题就是在windows下调试成功,但是部署到UNIX下出问题,忘记将windows下路径变成unix下,经常会出现问题。
        2)输出端,数据库插入更新选择不对。输出端,提供了三种数据库输出的办法,数据库输出,插入/更新,更新,对于这三种,各有利弊,如果你知道数据库输出,完全是插入,如果有重复数据,则会报错;插入更新和更新,因为更新数据时,后台输出很多日志,会导致效率很低。


    展开全文
  • Kettle调度和监控

    千次阅读 2016-02-25 17:04:27
      Kettle调度和监控的理论知识介绍,具体内容如下...这是操作系统能够提供标准调度的一般性需要,如UNIX衍生系统上的Cron以及Windows系统上的任务调度器。这些调度器能够拥戴调度Kettle命令行程序来运行任务和转
    
       Kettle调度和监控的理论知识介绍,具体内容如下:

    1 调度

        在这个指导文档中,主介绍两种类型Kettle任务和转换的调度方式。

    Ø  操作系统级别的调度器:对于ETL来说,调度不是独一无二的。这是操作系统能够提供标准调度的一般性需要,如UNIX衍生系统上的Cron以及Windows系统上的任务调度器。这些调度器能够拥戴调度Kettle命令行程序来运行任务和转换。

    Ø  Quartz调度器构建成Pentalo BI服务器:Kettle作为Pentalo BI栈的一部分,许多Kettle 用户可能也使用或者熟悉Pentalo BI服务器。调度器构建成Pentalo BI服务器能够被用来运行一系列执行Kettle任务和转换工作。

        所有主要操作系统提供了构建调度任务的特性,这些被任务能够被作为系统级别的调度器来调度。下面,主要来介绍如何使用命令行来运行Kettle 任务和转换。

    1.1 命令行执行Kettle任务和转换

        使用Kitchen和Pan命令行工具能够启动Kettle任务和转换。Pan和Kettle是环绕数据集成引擎的轻量级封装器(lightweight wrappers)。Kitchen 和 Pan是使用shell scripts运行任务和转换的,比如在Windows环境中Kitchen.bat 和Pan.bat。在Linux环境下,对应的运行脚本是Kitchen.sh 和Pan.sh。

    一般命令行参数能够按如下分类:

    • 指定job 和transform
    • 控制日志
    • 指定仓库(repository)
    • 列出有效的仓库和它们的内容。

    Kettle 和Pan一般命令行参数列表

    名称

    介绍

    norep

     

    不连接到任何一个repository,避免自动登录很有用。

    rep

    仓库名称

    连接到指定名称的仓库

    user

    仓库的用户名

    指定用户名来连接到指定的仓库

    pass

    仓库的密码

    使用指定的密码来连接到指定的仓库

    listrep

     

    显示有效的仓库

    dir

    路径

    指定仓库的路径

    listdir

     

    列出有效的仓库job/transform路径

    file

    文件名

    指定存储了job或者transform的文件

    level

    日志级别

    Error | Nothing |Basic | Detailed |Debug | Rowlevel

    logfile

    日志的文件名

    指定日志的文件名称

    version

     

    显示版本,校订号和工具的构建日期

    注意:dir and listdir parameters are dependent upon the tool. For Kitchen,theseparameters refer to the repositories’ job directories, or totransformation directories in the case of Pan.

    Kettle命令行参数指定

    名称

    介绍

    job

    Job名称

    指定存储在仓库中job的名称

    listjobs

     

    通过dir参数列出存在于仓库中有效jobs

     

    Kettle命令行参数的代码实例。

    #

    # list all available parameters

    #

    kettle-home> ./kitchen.sh

    #

    # run the job stored in

    # /home/foo/daily_load.kjb

    #

    kettle-home> ./kitchen.sh \

    > /file:/home/foo/daily_load.kjb

    #

    # run the daily_load job from the

    # repository named pdirepo

    #

    kettle-home> ./kitchen.sh/rep:pdirepo \

    > /user:admin \

    > /pass:admin \

    > /dir://job:daily_load.kjb

    1.2 基于UNIX系统:cron

    对于UNIX派生的系统中,cron功能是很好的job调度器。你没有必要安装其它任何工具使其有效运行。

    Cron字符串定义有5个日期/时间域值,以空白空间分割,从左到右,日期时间域如下:

    l minutes: 0–59

    l hours: 0–23

    l day of month: 1–31

    l month: 1–12

    l day of week: 0–6, where 0 denotesSunday, 1 Monday, and so on

    举例说明:

    0 1 ? * 5run_kettle_weekly_invoices.sh

     上面的例子,表示“每天的星期五的一点”运行这个kettle脚本。


    1.3 使用Pentaho 构建Scheduler

       需要使用Pentaho BI Server, 更多的信息,参考web资源

    2 监控

    2.1 邮件通知

        Kettle中有两种方式监控job或者transform的运行情况。每个job中的transform都可以配置对应的日志(如下图)。



    具体的配置请参考说明文档。邮件组件相对而言,更简单,这里就不详细

    2.2 日志表

        大部分Kettle组件能够输出以文本行的形式的日子信息.例如,当一个步骤完成, 一行信息显示了这个事件。

    2010/06/1810:36:29 - Step name.0 -Finished processing (I=0, O=0, R=0, W=25, U=0, E=0)

    你会发现日志是由以下几部分组成:

    Ø 日期和时间

    Ø 步骤名称,显示在日期和时间之后

    Ø 日志文本

    Ø 这些部分已空白、破折号和横线分割

    下面列举Kettle的日子级别:

    Rowlevel: 答应所有在Kettle中的有效日志,包括在大量复杂步骤的信息;

    Debugging: 产生大量的日志信息,主要用于调试,但是不是在行级别(row level);

    Detailed:允许用户看到比基本日志级别更富比较性的信息,额外的信息实例包括SQL查询语句和一般的DDL都会产生。

    Basic:默认的日子级别;仅仅打印这些能够反映在步骤或者任务条目上的信息。

    Minimal:通知你仅仅关于一个任务或者转化的信息。

    Errorlogging only: 如果那儿有一个错误,显示错误消息;否则,什么都不显示。

    Nothingat all: 即使当有错误存在的时候,不要产生任何日志。

       转换日志表

      在转换日志表级别,有四个日志表能够被更新。

    l  转换日志表

    l  步骤日志表

    l  性能日志表

    l  日志管道表

    在转换的结尾,一个转换过程的默认行为就是写日志到日志表里。

    转换日志表

    点击右键,在弹出框中选择。弹出转换过程的属性设置。

     

    设置内容如下图所示:


                         Transformation 日志表属性设置

    在左边的面板,你看到不同的你能够定义的日子表。下面有具体参数描述:

    • Log Connection: 存储目标日志表的数据库名称,从选择下滑键中,你可以选择存在的数据库定义的名称。
    • Log table schema: 包含日志表的数据库体系结构。
    • Log table name: 日志表的名称
    • Logging interval (seconds): 在转换运行过程中,根据这个选择参数值间歇地写信息到日志表中。如果你没有指定这个参数值,日志表将仅仅只能在转换开始和完成时被更新。
    • Log record timeout (in days):在它插入一个新值之前,根据这个参数值来来删除日志表中老的记录。
    • Log size limit in lines: 对于不支持大字符字段的数据库,日志限定了这个文本的大小。

         依次类推,设置步骤日志表、性能日志表、日志管道表。另外,同转换日志表相似,你也可以设置任务日志表,设置方式基本一致。


    转自:http://blog.csdn.net/john_f_lau/article/details/9260863

    展开全文
  • Linux下部署kettle

    千次阅读 2017-10-24 10:31:45
    一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在...

    转载来源:http://www.cnblogs.com/wxjnew/p/3417942.html


    一直以来服务器是linux系统,但是感觉linux图形化不强,于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常,以及在linux上调度kettle的job,就需要在Linux上配置kettle环境了。

    登陆-linux-(切换到kettle部署的用户下面)

    第一:产看系统的java环境,cat .bash_profile 文件

    从上面可以看到,在cognos用户下已经安装了java jdk,版本是1.6.0_20,我们看一下kettle的最低版本要求,编辑查看spoon.bat可以看到

    java的版本需求为1.6.0_17,cognos用户下的jdk版本在此之上,说明java环境已经符合。

    第二:上传文件,开始部署

    1. 将data-integration.zip上传到linux服务器(利用SSH将解压过的整个文件夹上传也可以)

    2. 使用unzip命令解压data-integration.zip   unzip data-integration.zip -d "/mnt/kettle"(如果上传的是文件夹,忽略此步骤)

    3.进入解压目录,找到./kitchen.sh

    键入./kitchen.sh,看输入信息

    BASH:/ kitchen.sh的:权限被拒绝

    从上面可以看出kitchen.sh缺少执行权限,我们再次进入看看文件盒文件夹的权限

    从上面可以看出,此目录下面的.sh文件都没有执行权限(X),接下来我们给这个文件夹下面的所有.sh文件赋执行的权限

    由上面的我们可以看出,赋权成功!

    再次./kitchen.sh,回车 看输出信息--

    可以看到上面出现 -rep,-user,-pass 这些kettle中的帮助信息,说明kettle部署成功!

    第三:调出spoon界面

    在windows系统上面是执行spoon.bat 同理在linux系统上面执行spoon.sh调出spoon的界面进行开发。

    执行./spoon.sh,查看信息

    这里说一下,调出spoon界面需要linux客户端支持图形化服务。我们这里采用的是SecureCRT_CN,只支持命令后台。这个时候就需要用tvnviewer,需要在linux服务端装tvnviewer服务端。

    在命令客户端执行:vncserver 打开vnc服务

    从上面的信息可以看出,服务已经启动,我们可以登陆tvnviewer

    登陆成功 --

     

    在终端执行调出spoon界面的命令!执行 xhost +(xhost + 是使所有用户都能访问Xserver.)

    OK ,所有host用户都可以访问图形服务了。

    进入目录,执行spoon.sh

    弹出下面的信息

    解决上面的问题,jdk已经没问题了到网上搜了一下

    http://forums.pentaho.com/archive/index.php/t-93893.html thanks  这位兄弟给出此方法

      从英文的大概可以看出来是需要编辑.kettle目录下的一个文件,于是发现linux上面cognos根目录下没有.kettle文件

      于是从window上面把C:\Users\Administrator\.kettle中的文件.spoonrc.kettle编辑修改

    保存,然后把.kettle整个文件夹赋值到cognos根目录下,查看是否存在(使用 ls -a显示所有对象,因为.XX的对象默认是隐藏的)

    再次执行./spoon.sh

    [cognos@bitic data-integration]$ ./spoon.sh


    /home/cognos/pdi-ce-4.2.0-stable/data-integration
    INFO  11-11 14:56:34,164 - Spoon - Logging goes to file:///tmp/spoon_66d28e63-4a9e-11e3-a301-7b09d1d32e5b.log
    INFO  11-11 14:56:35,641 - Logging to org.slf4j.impl.JCLLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
    INFO  11-11 14:56:35,646 - class org.pentaho.agilebi.platform.JettyServer - WebServer.Log.CreateListener localhost:10000
    INFO  11-11 14:56:35,647 - jetty-6.1.21
    INFO  11-11 14:56:35,703 - NO JSP Support for /pentaho, did not find org.apache.jasper.servlet.JspServlet
    INFO  11-11 14:56:39,221 - Initializing Spring root WebApplicationContext
    INFO  11-11 14:56:39,221 - Root WebApplicationContext: initialization started
    INFO  11-11 14:56:39,242 - Refreshing org.pentaho.platform.web.http.context.PentahoSolutionSpringApplicationContext@e73783: display name [Root WebApplicationContext]; startup date [Mon Nov 11 14:56:39 CST 2013]; root of context hierarchy
    INFO  11-11 14:56:39,271 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/pentaho-spring-beans.xml]
    INFO  11-11 14:56:39,285 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/pentahoSystemConfig.xml]
    INFO  11-11 14:56:39,298 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/adminPlugins.xml]
    INFO  11-11 14:56:39,305 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/systemListeners.xml]
    INFO  11-11 14:56:39,310 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/sessionStartupActions.xml]
    INFO  11-11 14:56:39,316 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/applicationContext-spring-security.xml]
    INFO  11-11 14:56:39,331 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/applicationContext-common-authorization.xml]
    INFO  11-11 14:56:39,336 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/applicationContext-spring-security-memory.xml]
    INFO  11-11 14:56:39,343 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/applicationContext-pentaho-security-memory.xml]
    INFO  11-11 14:56:39,351 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/pentahoObjects.spring.xml]
    INFO  11-11 14:56:39,527 - Bean factory for application context [org.pentaho.platform.web.http.context.PentahoSolutionSpringApplicationContext@e73783]: org.springframework.beans.factory.support.DefaultListableBeanFactory@da52a1
    INFO  11-11 14:56:39,607 - Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@da52a1: defining beans [systemSettingsService,org.pentaho.platform.engine.core.system.SpringPentahoSystemProxy#0,administrationPluginsList,systemListenersList,sessionStartupActionsList,filterChainProxy,authenticationManager,loggerListener,basicProcessingFilter,basicProcessingFilterEntryPoint,requestParameterProcessingFilter,requestParameterProcessingFilterEntryPoint,pentahoSecurityStartupFilter,anonymousProcessingFilter,anonymousAuthenticationProvider,httpSessionContextIntegrationFilter,logoutFilter,securityContextHolderAwareRequestFilter,httpSessionReuseDetectionFilter,exceptionTranslationFilter,authenticationProcessingFilter,authenticationProcessingFilterEntryPoint,httpRequestAccessDecisionManager,filterInvocationInterceptor,roleVoter,daoAuthenticationProvider,userDetailsService,userMap,userMapFactoryBean,passwordEncoder,userRoleListEnhancedUserMapFactoryBean,inMemoryUserRoleListService,pentahoUserRoleListService,ISolutionEngine,ISolutionRepository,ISolutionRepositoryService,IContentRepository,IAuditEntry,IUITemplater,file,vfs-ftp,contentrepo,IAclPublisher,IAclVoter,IVersionHelper,ICacheManager,IConditionalExecution,IMessageFormatter,IDatasourceService,IPasswordService,IPluginProvider,IPluginManager,IPluginResourceLoader,IMenuProvider,IServiceManager,ITempFileDeleter,gwtServiceManager,IChartBeansGenerator,systemStartupSession,connection-SQL,connection-MDX,connection-XML,connection-HQL,IThemeManager]; root of factory hierarchy
    INFO  11-11 14:56:39,687 - Adding user [org.springframework.security.userdetails.User@c24ef000: Username: suzy; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Authenticated, User, cto, is]
    INFO  11-11 14:56:39,688 - Adding user [org.springframework.security.userdetails.User@e9f02600: Username: pat; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Authenticated, User, dev]
    INFO  11-11 14:56:39,688 - Adding user [org.springframework.security.userdetails.User@7ba0e400: Username: joe; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Admin, Authenticated, User, ceo]
    INFO  11-11 14:56:39,688 - Adding user [org.springframework.security.userdetails.User@6a247400: Username: tiffany; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Authenticated, User, dev, devmgr]
    INFO  11-11 14:56:39,745 - Validated configuration attributes
    INFO  11-11 14:56:39,749 - Adding user [org.springframework.security.userdetails.User@c24ef000: Username: suzy; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Authenticated, User, cto, is]
    INFO  11-11 14:56:39,749 - Adding user [org.springframework.security.userdetails.User@e9f02600: Username: pat; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Authenticated, User, dev]
    INFO  11-11 14:56:39,749 - Adding user [org.springframework.security.userdetails.User@7ba0e400: Username: joe; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Admin, Authenticated, User, ceo]
    INFO  11-11 14:56:39,749 - Adding user [org.springframework.security.userdetails.User@6a247400: Username: tiffany; Password: [PROTECTED]; Enabled: true; AccountNonExpired: true; credentialsNonExpired: true; AccountNonLocked: true; Granted Authorities: Authenticated, User, dev, devmgr]
    INFO  11-11 14:56:39,761 - Root WebApplicationContext: initialization completed in 539 ms
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for IRuntimeRepository
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for ISubscriptionScheduler
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for ISubscriptionRepository
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for IUserFilesComponent
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for IBackgroundExecution
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for IScheduler
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for INavigationComponent
    INFO  11-11 14:56:39,778 - misc-org.pentaho.platform.engine.core.system.PentahoSystem: Could not detemine implementor for IUserSettingService
    INFO  11-11 14:56:39,810 - Mondrian: properties loaded from 'file:/home/cognos/pdi-ce-4.2.0-stable/data-integration/libext/mondrian/config/mondrian.properties'
    INFO  11-11 14:56:39,810 - Mondrian: loaded 0 system properties
    INFO  11-11 14:56:39,884 - Refreshing com.pentaho.analyzer.content.px@106e02e: display name [com.pentaho.analyzer.content.px@106e02e]; startup date [Mon Nov 11 14:56:39 CST 2013]; root of context hierarchy
    INFO  11-11 14:56:39,885 - Loading XML bean definitions from class path resource [beans.xml]
    INFO  11-11 14:56:39,921 - Bean factory for application context [com.pentaho.analyzer.content.px@106e02e]: org.springframework.beans.factory.support.DefaultListableBeanFactory@f67d81
    INFO  11-11 14:56:39,940 - Loading properties file from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/analyzer/analyzer.properties]
    INFO  11-11 14:56:39,944 - Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@f67d81: defining beans [propertyConfigurer,properties,analysisAreaManager,olapMetaDataManager,olapConnectionManager,reportManager,reportRequestService,usageTracker,localizationService,CVAppContext]; root of factory hierarchy
    INFO  11-11 14:56:39,948 - Loading properties file from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions/system/analyzer/analyzer.properties]
    Pentaho BI Platform server is ready. (Pentaho Platform Engine Core 3.9.0-stable.47240) Fully Qualified Server Url = http://localhost:8080/pentaho/, Solution Path = /home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/platform/pentaho-solutions
    INFO  11-11 14:56:40,048 - Started SocketConnector@localhost:10000
    INFO  11-11 14:56:40,054 - Refreshing org.springframework.context.support.FileSystemXmlApplicationContext@bf1a4a: display name [org.springframework.context.support.FileSystemXmlApplicationContext@bf1a4a]; startup date [Mon Nov 11 14:56:40 CST 2013]; root of context hierarchy
    INFO  11-11 14:56:40,054 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/visualizations/prpt/plugin.xml]
    INFO  11-11 14:56:40,070 - Bean factory for application context [org.springframework.context.support.FileSystemXmlApplicationContext@bf1a4a]: org.springframework.beans.factory.support.DefaultListableBeanFactory@9e4dc0
    INFO  11-11 14:56:40,071 - Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@9e4dc0: defining beans [visualizationBean]; root of factory hierarchy
    INFO  11-11 14:56:40,079 - Refreshing org.springframework.context.support.FileSystemXmlApplicationContext@7348e: display name [org.springframework.context.support.FileSystemXmlApplicationContext@7348e]; startup date [Mon Nov 11 14:56:40 CST 2013]; root of context hierarchy
    INFO  11-11 14:56:40,080 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/visualizations/report-wizard/plugin.xml]
    INFO  11-11 14:56:40,094 - Bean factory for application context [org.springframework.context.support.FileSystemXmlApplicationContext@7348e]: org.springframework.beans.factory.support.DefaultListableBeanFactory@ffb35e
    INFO  11-11 14:56:40,095 - Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@ffb35e: defining beans [visualizationBean]; root of factory hierarchy
    INFO  11-11 14:56:40,097 - Refreshing org.springframework.context.support.FileSystemXmlApplicationContext@153c9c7: display name [org.springframework.context.support.FileSystemXmlApplicationContext@153c9c7]; startup date [Mon Nov 11 14:56:40 CST 2013]; root of context hierarchy
    INFO  11-11 14:56:40,098 - Loading XML bean definitions from file [/home/cognos/pdi-ce-4.2.0-stable/data-integration/plugins/spoon/agile-bi/visualizations/analyzer/plugin.xml]
    INFO  11-11 14:56:40,123 - Bean factory for application context [org.springframework.context.support.FileSystemXmlApplicationContext@153c9c7]: org.springframework.beans.factory.support.DefaultListableBeanFactory@3eeab3
    INFO  11-11 14:56:40,125 - Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@3eeab3: defining beans [visualizationBean]; root of factory hierarchy
    INFO  11-11 14:56:40,224 - Spoon - Asking for repository
    INFO  11-11 14:56:40,347 - RepositoriesMeta - Reading repositories XML file: /home/cognos/.kettle/repositories.xml
    INFO  11-11 14:56:41,118 - Version checker - OK

    --------------------------------------------出现上面的加载信息,图形界面成功调出------------------------------------------------------------------------------

    小结:至于解决方法ShowWelcomePageOnStartup=N 欢迎页面不显示就可以加载处设计页面,就不知道是上面原因了,此时我们在spoon界面上点击显示欢迎界面的话又会出现同样的错误,哪位大神看到的话,欢迎留言科普!

     

     



    展开全文
  • Kettle, Solr

    千次阅读 2017-04-17 12:41:05
    Kettle, Solr
  • Kettle安装部署及实例演示

    千次阅读 2016-09-07 18:15:14
    Kettle安装部署及实例演示 本文档包括三部分内容: 1、Java 的安装部署 2、Kettle的安装部署 3、Kettle的开发实例演示   Date:2013/12/14
  • kettle8调度监控平台(kettle-scheduler)开源

    万次阅读 多人点赞 2020-08-27 10:58:27
    Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java...
  • kettle调度监控最佳实践

    千次阅读 2018-06-05 20:15:11
    Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。 连Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以...
  • Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行。 说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使用。今天主要先描述ETL工具的通用功能。 ...
  • Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。 kettle合并到日本日立公司和pentaho成立的新公司hitachivantara。 Kettle(现在已经更名为PDI,Pentaho Data ...
  • 看到网上关于kettle的大多是老的版本,所以打算自己写一个最新版的怎么来使用kettle的。 什么是kettle? 在现在大数据的时代,必然少不了ETL工具,市面上有很多的ETL工具,有收费的,免费的,开源的。我这里使用的...
  • 本文用到的 ... 简介 Kettle是一款开源的ETL工具,纯java实现,可以运行于Windows, Unix, Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义...Kettle支持丰富的数据输入输出源,数据库支持Oracle,
  • (1)选择操作系统 (2)安装规划 2. 安装前准备 (1)安装Java环境 (2)安装GNOME Desktop图形界面 (3)安装配置VNC远程控制 (4)在客户端安装vncviewer 3. 安装运行Kettle (1)下载和解压 (2)运行...
  • 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】 本文主要阅读目录...
1 2 3 4 5 ... 20
收藏数 546
精华内容 218
关键字:

unix系统kettle支持吗