精华内容
下载资源
问答
  • Oozie自气流 一种在工作流程和工作流程之间轻松转换的工具。 该程序的目标是Apache Airflow> = 1.10和Apache Oozie 1.0 XML模式。 如果您想为该项目做出贡献,请查看 目录 背景 Apache Airflow是由AirBnB在2014年...
  • 安装Oozie4.1.0-CDH版本

    2021-01-07 06:36:14
    安装Oozie4.1.0-CDH版本 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载: 这里使用的是CDH版本的,免编译,看着编译的过程就够了。下载地址: ...
  • oozie-graphite包含一些有用的粘合剂,用于将操作数据从 oozie 包/协调器和/或 oozie-internal 仪器推送到石墨中。 兼容性 版本 1.0 + 版本 1.1.0 + 如何构建 使用 ,只需使用捆绑和预配置的 gradlew 包装器。 ...
  • oozie

    2021-03-26 14:05:36
    Oozie是一个工作流调度程序系统,用于管理Apache Hadoop作业。 Oozie与其余Hadoop堆栈集成在一起,支持开箱即用的几种类型的Hadoop作业(例如Java map-reduce,Streaming map-reduce,Pig,Hive,Sqoop和Distcp)...
  • 阿帕奇·奥兹(Apache Oozie) 什么是Oozie Oozie是一个可扩展,可扩展且可靠的系统,用于通过Web服务定义,管理,调度和执行复杂的Hadoop工作负载。 更具体地说,这包括: 基于XML的声明性框架,用于指定作业或...
  • oozie-client 安装 npm安装oozie-client 得到帮助 节点app.js-帮助 选项: -s,--save保存参数-undefined,--cluster hdinsight群集名称(期望值)-undefined,--user用户(期望值)-undefined,--pass password...
  • oozie oozie

    2018-08-21 10:33:05
    Hadoop oozie报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 。 oozie建表sql,直接下载执行
  • Oozie安装教程

    2021-01-07 05:27:49
    格式化集群并启动二、部署oozie1.上传安装包2.解压3.集成jar包4.修改oozie的配置文件4.1JDBC驱动包4.2jdbc url4.3数据库用户名4.4数据库密码5.在MySQL中创建数据库6.初始化oozie7.启动 本人在安装oozie
  • oozie mysql数据库表

    2018-11-07 13:03:12
    oozie mysql数据库表结构。文档里是oozie mysql的建表语句
  • 从零开始讲解大数据调度系统构成,集成大数据计算任务构建大数据工作流,基于Oozie构建实现企业级自动化任务开发 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解...
  • 该项目通过提供一个工作流来帮助您在 Oozie 中实现循环,该工作流将为您提供的范围内的每个整数或您提供的值列表中的每个条目调用您的工作流。 工作流的执行可以按范围或列表的串行顺序执行,也可以并行执行。 您...
  • OozieWeb的js组件,有需下载,有需要的拿去,网上找的好烦
  • Apache Oozie.pdf

    2017-09-17 11:31:22
    ########################################## Apache Oozie.pdf ########################################
  • oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
  • Oozie

    2019-06-16 12:50:00
    尚硅谷大数据技术之Oozie 第1章 Oozie简介  Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java ...

    尚硅谷大数据技术之Oozie

     

    1Oozie简介

      Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReducePig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。

    2 Oozie的功能模块介绍

    2.1 模块

    1) Workflow

    顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个)

    2) Coordinator

    定时触发workflow

    3) Bundle Job

    绑定多个Coordinator

    2.2 常用节点

    1) 控制流节点(Control Flow Nodes

    控制流节点一般都是定义在工作流开始或者结束的位置,比如start,end,kill等。以及提供工作流的执行路径机制,如decisionforkjoin等。

    2) 动作节点(Action  Nodes

    负责执行具体动作的节点,比如:拷贝文件,执行某个Shell脚本等等。

    3 Oozie的部署

    3.1 部署HadoopCDH版本的)

    3.1.2 修改Hadoop配置

    hadoop-env.sh

     

    export JAVA_HOME=/opt/module/jdk1.8.0_144

     

     

    mapred-env.sh

     

     

    export JAVA_HOME=/opt/module/jdk1.8.0_144

     

     

     

    yarn-env.sh

     

     

    export JAVA_HOME=/opt/module/jdk1.8.0_144

     

     

     

     

    core-site.xml

    <!-- 指定HDFS中NameNode的地址 -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop102:8020</value>
    </property>
    
    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
    </property>
    
    <!-- Oozie Server的Hostname -->
    <property>
      <name>hadoop.proxyuser.lxl.hosts</name>
      <value>*</value>
    </property>
    
    <!-- 允许被Oozie代理的用户组 -->
    <property>
    <name>hadoop.proxyuser.lxl.groups</name>
      <value>*</value>
    </property>

     

     

    hdfs-site.xml

    <!-- 指定HDFS副本的数量 -->
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    
    <!-- 指定Hadoop辅助名称节点主机配置 -->
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop104:50090</value>
    </property>

     

     

     

    mapred-site.xml

    <!-- 指定MR运行在YARN上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>

     

     

     

    yarn-site.xml

    <!-- Reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
    </property>
    
    <!-- 日志聚集功能使能 -->
    <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>
    
    <!-- 日志保留时间设置7天 -->
    <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>604800</value>
    </property>

     

     

     

    slaves

     

    hadoop102
    hadoop103
    hadoop104

     

     

     

    完成后:记得scp同步到其他机器节点

     

    [lxl@hadoop102 module]$ xsync cdh/

     

     

     

    3.1.3 重启Hadoop集群

    格式化:

    [lxl@hadoop102 hadoop-2.5.0-cdh5.3.6]$ bin/hdfs namenode -format

     启动任务

    [lxl@hadoop102 hadoop-2.5.0-cdh5.3.6]$ sbin/start-dfs.sh
    [lxl@hadoop103 hadoop-2.5.0-cdh5.3.6]$ sbin/start-yarn.sh
    [lxl@hadoop102 hadoop-2.5.0-cdh5.3.6]$ sbin/mr-jobhistory-daemon.sh start historyserver

     

    注意:需要开启JobHistoryServer, 最好执行一个MR任务进行测试。

     

     

    3.2 部署Oozie

    3.2.1 解压Oozie

    [lxl@hadoop102 software]$ tar -zxvf /opt/software/cdh/oozie-4.0.0-cdh5.3.6.tar.gz -C ./

     

    3.2.2 oozie根目录下解压oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz -C ../

     

    完成后Oozie目录下会出现hadooplibs目录。

    3.2.3 Oozie目录下创建libext目录

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir libext/

     

    3.2.4 拷贝依赖的Jar

    1)将hadooplibs里面的jar包,拷贝到libext目录下:

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -ra hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

     

    2)拷贝Mysql驱动包到libext目录下:

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a /opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ./libext/

     

    3.2.5 ext-2.2.zip拷贝到libext/目录下

    ext是一个js框架,用于展示oozie前端页面:

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp  /opt/software/ext-2.2.zip ./libext/

     

    3.2.6 修改Oozie配置文件

    oozie-site.xml

    属性:oozie.service.JPAService.jdbc.driver
    属性值:com.mysql.jdbc.Driver
    解释:JDBC的驱动
    
    属性:oozie.service.JPAService.jdbc.url
    属性值:jdbc:mysql://hadoop102:3306/oozie
    解释:oozie所需的数据库地址
    
    属性:oozie.service.JPAService.jdbc.username
    属性值:root
    解释:数据库用户名
    
    属性:oozie.service.JPAService.jdbc.password
    属性值:000000
    解释:数据库密码
    
    属性:oozie.service.HadoopAccessorService.hadoop.configurations
    属性值:*=/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
    解释:让Oozie引用Hadoop的配置文件

      

     

    3.2.7 Mysql中创建Oozie的数据库

    进入Mysql并创建oozie数据库:

    $ mysql -uroot -p000000
    mysql> create database oozie;

     

    3.2.8 初始化Oozie

    1) 上传Oozie目录下的yarn.tar.gz文件到HDFS

    提示:yarn.tar.gz文件会自行解压

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs hdfs://hadoop102:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

     

    执行成功之后,去50070检查对应目录有没有文件生成。

    2) 创建oozie.sql文件

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/ooziedb.sh create -sqlfile oozie.sql -run

     

      setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
    
    Validate DB Connection
    DONE
    Check DB schema does not exist
    DONE
    Check OOZIE_SYS table does not exist
    DONE
    Create SQL schema
    DONE
    Create OOZIE_SYS table
    DONE
    
    Oozie DB has been created for Oozie version '4.0.0-cdh5.3.6'

     

    3) 打包项目,生成war

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh prepare-war

     

    3.2.9 Oozie的启动与关闭

    启动命令如下:

    [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

     

    关闭命令如下:

    [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop

     

    3.2.10 访问OozieWeb页面

    http://hadoop102:11000/oozie

    4 Oozie的使用

    4.1 案例一:Oozie调度shell脚本

    目标:使用Oozie调度Shell脚本

    分步实现:  

    1)解压官方案例模板

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz

     

    2)创建工作目录

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir oozie-apps/

     

    3)拷贝任务模板到oozie-apps/目录

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r examples/apps/shell/ oozie-apps

     

    4)编写脚本p1.sh

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p1.sh

     

    内容如下:

    #!/bin/bash
    date > /opt/module/p1.log

     

    5)修改job.propertiesworkflow.xml文件

    job.properties

    #HDFS地址
    nameNode=hdfs://hadoop102:8020
    #ResourceManager地址
    jobTracker=hadoop103:8032
    
    #队列名称
    queueName=default
    examplesRoot=oozie-apps
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
    EXEC=p1.sh

     

    workflow.xml

    <workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${EXEC}</exec>
            <!-- <argument>my_output=Hello Oozie</argument> -->
            <file>/user/lxl/oozie-apps/shell/${EXEC}#${EXEC}</file>
     
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <decision name="check-output">
        <switch>
            <case to="end">
                ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
            </case>
            <default to="fail-output"/>
        </switch>
    </decision>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
    </kill>
    <end name="end"/>
    </workflow-app>

     

     

    6)上传任务配置

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -put oozie-apps/ /user/atguigu

     

    7)执行任务

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

     

    8)杀死某个任务

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -kill 0000004-170425105153692-oozie-z-W

     

     

     如果任务配置文件出错需要修改hdfs上的文件再重新执行!

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -rm -r /user/lxl/oozie-apps/shell/job.properties
    19/06/17 04:10:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    19/06/17 04:10:14 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
    Deleted /user/lxl/oozie-apps/shell/job.properties
    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -put ./oozie-apps/shell/job.properties  /user/lxl/oozie-apps/shell/
    19/06/17 04:10:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

     

     

    4.2 案例二:Oozie逻辑调度执行多个Job

    目标:使用Oozie执行多个Job调度

    分步执行:

    1) 解压官方案例模板

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxf oozie-examples.tar.gz

     

    2) 编写脚本

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p2.sh

     

    内容如下:

    #!/bin/bash
    /bin/date > /opt/module/p2.log

     

    3)修改job.propertiesworkflow.xml文件

    job.properties

    nameNode=hdfs://hadoop102:8020
    jobTracker=hadoop103:8032
    queueName=default
    examplesRoot=oozie-apps
    
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
    EXEC1=p1.sh
    EXEC2=p2.sh

     

    workflow.xml

    <workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
        <start to="p1-shell-node"/>
        <action name="p1-shell-node">
            <shell xmlns="uri:oozie:shell-action:0.2">
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                </configuration>
                <exec>${EXEC1}</exec>
                <file>/user/lxl/oozie-apps/shell/${EXEC1}#${EXEC1}</file>
                <!-- <argument>my_output=Hello Oozie</argument>-->
                <capture-output/>
            </shell>
            <ok to="p2-shell-node"/>
            <error to="fail"/>
        </action>
        <action name="p2-shell-node">
            <shell xmlns="uri:oozie:shell-action:0.2">
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                </configuration>
                <exec>${EXEC2}</exec>
                <file>/user/lxl/oozie-apps/shell/${EXEC2}#${EXEC2}</file>
                <!-- <argument>my_output=Hello Oozie</argument>-->
                <capture-output/>
            </shell>
            <ok to="end"/>
            <error to="fail"/>
        </action>
        <decision name="check-output">
            <switch>
                <case to="end">
                    ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}
                </case>
                <default to="fail-output"/>
            </switch>
        </decision>
        <kill name="fail">
            <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
        <kill name="fail-output">
            <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
        </kill>
        <end name="end"/>
    </workflow-app>

     

    3) 上传任务配置

    [lxl@hadoop102 hadoop-2.5.0-cdh5.3.6]$ bin/hadoop fs -rm -r /user/lxl/oozie-apps/shell/*
    [lxl@hadoop102 oozie-apps]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6//bin/hadoop fs -put ./shell/* /user/lxl/oozie-apps/shell/

     

     

    4) 执行任务

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

     

    4.3 案例三:Oozie调度MapReduce任务

    目标:使用Oozie调度MapReduce任务

    分步执行:

    1)找到一个可以运行的mapreduce任务的jar包(可以用官方的,也可以是自己写的)

    2)拷贝官方模板到oozie-apps

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r /opt/module/cdh/oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/ oozie-apps/

     

    1) 测试一下wordcountyarn中的运行

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input/ /output/

     

    4) 配置map-reduce任务的job.properties以及workflow.xml

    job.properties

    nameNode=hdfs://hadoop102:8020
    jobTracker=hadoop103:8032
    queueName=default
    examplesRoot=oozie-apps
    #hdfs://hadoop102:8020/user/admin/oozie-apps/map-reduce/workflow.xml
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/map-reduce/workflow.xml
    outputDir=map-reduce

     

    workflow.xml

    <workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf">
        <start to="mr-node"/>
        <action name="mr-node">
            <map-reduce>
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <prepare>
                    <delete path="${nameNode}/output/"/>
                </prepare>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                    <!-- 配置调度MR任务时,使用新的API -->
                    <property>
                        <name>mapred.mapper.new-api</name>
                        <value>true</value>
                    </property>
                    <property>
                        <name>mapred.reducer.new-api</name>
                        <value>true</value>
                    </property>
                    <!-- 指定Job Key输出类型 -->
                    <property>
                        <name>mapreduce.job.output.key.class</name>
                        <value>org.apache.hadoop.io.Text</value>
                    </property>
                    <!-- 指定Job Value输出类型 -->
                    <property>
                        <name>mapreduce.job.output.value.class</name>
                        <value>org.apache.hadoop.io.IntWritable</value>
                    </property>
                    <!-- 指定输入路径 -->
                    <property>
                        <name>mapred.input.dir</name>
                        <value>/input/</value>
                    </property>
                    <!-- 指定输出路径 -->
                    <property>
                        <name>mapred.output.dir</name>
                        <value>/output/</value>
                    </property>
                    <!-- 指定Map类 -->
                    <property>
                        <name>mapreduce.job.map.class</name>
                     <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                    </property>
                    <!-- 指定Reduce类 -->
                    <property>
                        <name>mapreduce.job.reduce.class</name>
                <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                    </property>
                    <property>
                        <name>mapred.map.tasks</name>
                        <value>1</value>
                    </property>
                </configuration>
            </map-reduce>
            <ok to="end"/>
            <error to="fail"/>
        </action>
        <kill name="fail">
            <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
        <end name="end"/>
    </workflow-app>

     

    5)拷贝待执行的jar包到map-reducelib目录下(先清空lib下的所有文件)

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a  /opt /module/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar oozie-apps/map-reduce/lib

     

    6)上传配置好的app文件夹到HDFS

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/map-reduce/ /user/lxl/oozie-apps

     或:

    [lxl@hadoop102 oozie-apps]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -put map-reduce/ /user/lxl/oozie-apps

     

    7)执行任务

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/map-reduce/job.properties -run

     

    4.4 案例四:Oozie定时任务/循环任务

    目标:Coordinator周期性调度任务

    分步实现:

    1) 配置Linux时区以及时间服务器

    2) 检查系统当前时区:

    [lxl@hadoop102 shell]$ date -R
    Mon, 17 Jun 2019 09:01:44 +0800

     

    注意:如果显示的时区不是+0800,删除localtime文件夹后,再关联一个正确时区的链接过去,命令如下:

    # rm -rf /etc/localtime
    # ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

     

    同步时间:

    # ntpdate pool.ntp.org

     

    修改NTP配置文件:

    # vi /etc/ntp.conf
    
    去掉下面这行前面的# ,并把网段修改成自己的网段:
    restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap
    注释掉以下几行:
    #server 0.centos.pool.ntp.org
    #server 1.centos.pool.ntp.org
    #server 2.centos.pool.ntp.org
    把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加
    server  127.127.1.0    # local clock
    fudge  127.127.1.0 stratum 10

     

    重启NTP服务:

    # systemctl start ntpd.service,
    注意,如果是centOS7以下的版本,使用命令:service ntpd start
    
    # systemctl enable ntpd.service,
    注意,如果是centOS7以下的版本,使用命令:chkconfig ntpd on

     

    集群其他节点去同步这台时间服务器时间:

    首先需要关闭这两台计算机的ntp服务

    # systemctl stop ntpd.service,

     

    centOS7以下,则:service ntpd stop

    # systemctl disable ntpd.service,

     

    centOS7以下,则:chkconfig ntpd off

    # systemctl status ntpd,查看ntp服务状态
    
    # pgrep ntpd,查看ntp服务进程id

     

    同步第一台服务器linux01的时间:

    # ntpdate hadoop102

     

    使用root用户制定计划任务,周期性同步时间:

    # crontab -e
    
    */10 * * * * /usr/sbin/ntpdate hadoop102

     

    重启定时任务:

    # systemctl restart crond.service,
    
    centOS7以下使用:service crond restart,

     

    其他台机器的配置同理。

    3) 配置oozie-site.xml文件

    属性:oozie.processing.timezone
    属性值:GMT+0800
    解释:修改时区为东八区区时

     

    该属性去oozie-default.xml中找到即可(然后把这个属性配置黏贴到oozie-site.xml中进行修改)

    4) 修改js框架中的关于时间设置的代码

    $ vi /opt/module/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js
    
    修改如下:
    function getTimeZone() {
        Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
        return Ext.state.Manager.get("TimezoneId","GMT+0800");
    }

     

    5)重启oozie服务,并重启浏览器(一定要注意清除缓存)

    [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop
    
    [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

     效果:

     

    6)拷贝官方模板配置定时任务

    [lxl@hadoop102 apps]$ pwd
    /opt/module/oozie-4.0.0-cdh5.3.6/examples/apps
    [lxl@hadoop102 apps]$ cp -r cron /opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/

     

     

    7)修改模板job.properties和coordinator.xml以及workflow.xml

    job.properties

    nameNode=hdfs://hadoop102:8020
    jobTracker=hadoop103:8032
    queueName=default
    examplesRoot=oozie-apps
    
    oozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/cron
    #start:必须设置为未来时间,否则任务失败
    start=2017-07-29T17:00+0800
    end=2017-07-30T17:00+0800
    workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron
    
    EXEC3=p3.sh

     

     

    coordinator.xml

    <coordinator-app name="cron-coord" frequency="${coord:minutes(5)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2">
    <action>
    <workflow>
        <app-path>${workflowAppUri}</app-path>
        <configuration>
            <property>
                <name>jobTracker</name>
                <value>${jobTracker}</value>
            </property>
            <property>
                <name>nameNode</name>
                <value>${nameNode}</value>
            </property>
            <property>
                <name>queueName</name>
                <value>${queueName}</value>
            </property>
        </configuration>
    </workflow>
    </action>
    </coordinator-app>

     

     

    workflow.xml

    <workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">
    <start to="p3-shell-node"/>
      <action name="p3-shell-node">
          <shell xmlns="uri:oozie:shell-action:0.2">
              <job-tracker>${jobTracker}</job-tracker>
              <name-node>${nameNode}</name-node>
              <configuration>
                  <property>
                      <name>mapred.job.queue.name</name>
                      <value>${queueName}</value>
                  </property>
              </configuration>
              <exec>${EXEC3}</exec>
              <file>/user/atguigu/oozie-apps/cron/${EXEC3}#${EXEC3}</file>
              <!-- <argument>my_output=Hello Oozie</argument>-->
              <capture-output/>
          </shell>
          <ok to="end"/>
          <error to="fail"/>
      </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <kill name="fail-output">
        <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>
    </kill>
    <end name="end"/>
    </workflow-app>

     

    8)上传配置

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps

     或:

    [lxl@hadoop102 oozie-apps]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -put cron/ /user/lxl/oozie-apps/

     

    9)启动任务

    [lxl@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/cron/job.properties -run

     

    注意:Oozie允许的最小执行任务的频率是5分钟

    5 常见问题总结

    1Mysql权限配置

    授权所有主机可以使用root用户操作所有数据库和数据表

    mysql> grant all on *.* to root@'%' identified by '000000';
    mysql> flush privileges;
    mysql> exit;

     

    2workflow.xml配置的时候不要忽略file属性

    3jps查看进程时,注意有没有bootstrap

    4)关闭oozie

    如果bin/oozied.sh stop无法关闭,则可以使用kill -9 [pid],之后oozie-server/temp/xxx.pid文件一定要删除。

    5Oozie重新打包时,一定要注意先关闭进程,删除对应文件夹下面的pid文件。(可以参考第4条目)

    6)配置文件一定要生效

    起始标签和结束标签无对应则不生效,配置文件的属性写错了,那么则执行默认的属性。

    7libext下边的jar存放于某个文件夹中,导致share/lib创建不成功。

    8)调度任务时,找不到指定的脚本,可能是oozie-site.xml里面的Hadoop配置文件没有关联上。

    9)修改Hadoop配置文件,需要重启集群。一定要记得scp到其他节点。

    10JobHistoryServer必须开启,集群要重启的。

    11Mysql配置如果没有生效的话,默认使用derby数据库。

    12)在本地修改完成的job配置,必须重新上传到HDFS

    13)将HDFS中上传的oozie配置文件下载下来查看是否有错误。

    14Linux用户名和Hadoop的用户名不一致。

    转载于:https://www.cnblogs.com/LXL616/p/11031211.html

    展开全文
  • 快速学习-Oozie的使用

    2021-01-07 12:40:57
    第4章 Oozie的使用 4.1 案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: 1)解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 2)创建工作目录 ...
  • oozie-5.1.0.tar.gz(2)

    2019-04-07 23:05:06
    oozie-5.1.0.tar.gz 编译结果,受限上传大小,文件分3部分
  • MySQL :oozie建表sql

    2018-06-29 15:50:13
    hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist
  • oozie调用hive介绍,在华为大数据平台下通过oozie调用hive,并解决认证问题
  • oozie的安装和使用

    2018-08-01 15:23:05
    包括安装,配置,使用,shell action ,hive action,MapReduce action,sqoop action。
  • oozie shell action 例子

    2016-07-11 15:20:04
    提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功
  • oozie+spark2结合

    2018-03-01 18:04:45
    CDH环境中oozie+spark2集成的详细步骤,让spark2也支持工作流。
  • hadoop集群
  • oozie-impala-action-源码

    2021-06-14 03:58:08
    Oozie Impala 动作 这大量借鉴了。 使用说明 命令行界面 要在命令行上使用,请执行以下操作 - $ git clone <> $ cd <> $ mvn clean package $ cat > sample.sql << EOF SELECT 1+1 EOF $ export ...
  • extjs 2.2(oozie需要的)

    2018-05-14 10:39:34
    extjs 2.2(oozie需要的) ,将压缩包解压后,提取ext-2.2.zip包上传到/opt/cloudera/parcels/CDH/lib/oozie/libext,用unzip解压即可。
  • OozieWorkflow-源码

    2021-03-25 21:42:56
    Oozie管道可自动将数据下载和提取到配置单元表 动作1-执行脚本bash,该脚本将下载和存储昨天的数据。 安排作业每天运行。 行动2-将数据存储在HDFS的分区目录中 行动3-在HDFS中创建指向上述分区的外部Hive表covid_...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 15,715
精华内容 6,286
关键字:

oozie