精华内容
下载资源
问答
  • oozie mysql数据库

    2018-11-07 13:03:12
    oozie mysql数据库表结构。文档里是oozie mysql的建表语句
  • Oozie配置数据库

    2015-12-21 17:29:45
    Oozie默认的数据库为Derby

    Oozie默认的数据库为Derby

    展开全文
  • oozie】将oozie数据库配置为mysql

    千次阅读 2012-12-13 17:04:30
    假设已经将oozie安装好了,oozie内置的默认数据库为derby,现在改为mysql。 1. 在本机的mysql中创建oozie对应的数据库和用户名,密码 $ mysql -u root -p Enter password: ******   ...

    假设已经将oozie安装好了,oozie内置的默认数据库为derby,现在改为mysql。

    1. 在本机的mysql中创建oozie对应的数据库和用户名,密码

    $ mysql -u root -p
    Enter password: ******
     
    mysql> create database oozie;
    Query OK, 1 row affected (0.03 sec)
     
    mysql>  grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
    Query OK, 0 rows affected (0.03 sec)
     
    mysql>  grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
    Query OK, 0 rows affected (0.03 sec)
     
    mysql> exit
    Bye
     
    2. 修改配置文件oozie-site.xml

      ...
        <property>
            <name>oozie.service.StoreService.jdbc.driver</name>
            <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
            <name>oozie.service.StoreService.jdbc.url</name>
            <value>jdbc:mysql://localhost:3306/oozie</value>
        </property>
        <property>
            <name>oozie.service.StoreService.jdbc.username</name>
            <value>oozie</value>
        </property>
        <property>
            <name>oozie.service.StoreService.jdbc.password</name>
            <value>oozie</value>
        </property>
        ...

    3. 添加mysql的jdbc driver到oozie中


    sudo -u oozie /usr/lib/oozie/bin/oozie-setup.sh -jars mysql-connector-java-5.1.6.jar -extjs /tmp/ext-2.2.zip


    ext-2.2.zip下载地址:http://archive.cloudera.com/cdh/3/oozie/DG_QuickStart.html(需要自己找一下,你能找到的)

    展开全文
  • CDH安装Oozieoozie学习遇到的问题

    千次阅读 2018-05-24 11:06:30
    CDH修改Oozie数据库类型为mysql 1.将mysql驱动存放到/var/lib/oozie目录下 2.创建oozie数据库 3.初始化数据库 workflow.xml文件配置mapreduce遇到的问题: 1 .java.lang.RuntimeException: java.lang....

    CDH修改Oozie数据库类型为mysql
    1.将mysql驱动存放到/var/lib/oozie目录下
    2.创建oozie数据库
    3.初始化数据库
    workflow.xml文件配置mapreduce遇到的问题:
    1

    .java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.rytong.mdap.analytics.compute.basic.UserCounterJob.CounterMapper not found
    问题原因:
    
    <name>mapreduce.map.class</name>
                 <value>com.rytong.mdap.analytics.compute.basic.UserCounterJob.CounterMapper</value>
    

    解决方式:将点.改为 com.rytong.mdap.analytics.compute.basic.UserCounterJob c o m . r y t o n g . m d a p . a n a l y t i c s . c o m p u t e . b a s i c . U s e r C o u n t e r J o b CounterMapper

    问题2:
    java.lang.NoClassDefFoundError: com/maxmind/geoip2/exception/AddressNotFoundException
    问题原因:
    缺失第三方jar包
    解决方式:
    将jar包放到workfolw.xml所在目录的lib目录下

    问题3:
    Oozie 出现 ClassNotFoundException 解决方法
    只需要在job.properties里面加入oozie.use.system.libpath=true
    参考地址:http://jyd.me/nosql/oozie-classnotfoundexception-solution/
    问题4:
    执行shell时:[org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program
    问题原因:由于我们是在集群上运行,因此我们需要把脚本拷贝到每个节点:
    加一个file节点
    /user/root/examples/apps/hive/create_mysql_table.sh
    /user/root/examples/apps/hive/create_mysql_table.sh#create_mysql_table.sh

    **执行mapreduce时的workfolw.xml**
    <workflow-app xmlns="uri:oozie:workflow:0.2" name="usercounter-job-wf">
        <start to="mr-node"/>
        <action name="mr-node">
            <map-reduce>
                <job-tracker>${jobTracker}</job-tracker>
                <name-node>${nameNode}</name-node>
                <prepare>
                    <delete path="${nameNode}/zqc/264/tmp/${outputDir}"/>
                </prepare>
                <configuration>
                    <property>
                        <name>mapred.job.queue.name</name>
                        <value>${queueName}</value>
                    </property>
                       <property>  
                        <name>mapred.mapper.new-api</name>  
                        <value>true</value>  
                    </property>  
                    <property>  
                        <name>mapred.reducer.new-api</name>  
                        <value>true</value>  
                    </property>  
                    <property>
                        <name>mapred.job.name</name>
                        <value>UserCounterJob</value>
                    </property>
                    <property>
                        <name>mapreduce.inputformat.class</name>
                        <value>org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat</value>
                    </property>
                    <property>
                        <name>mapreduce.map.class</name>
                        <value>com.rytong.mdap.analytics.compute.basic.UserCounterJob$CounterMapper</value>
                    </property>
                    <property>
                        <name>mapreduce.reduce.class</name>
                        <value>com.rytong.mdap.analytics.compute.basic.UserCounterJob$CounterReducer</value>
                    </property>
                    <property>
                        <name>mapred.mapoutput.key.class</name>
                        <value>org.apache.hadoop.io.Text</value>
                    </property>
                    <property>
                        <name>mapred.mapoutput.value.class</name>
                        <value>com.rytong.mdap.analytics.source.Message</value>
                    </property>
                    <property>
                        <name>mapred.output.key.class</name>
                        <value>org.apache.hadoop.hbase.io.ImmutableBytesWritable</value>
                    </property>
                        <property>
                        <name>mapred.output.value.class</name>
                        <value>org.apache.hadoop.io.LongWritable</value>
                    </property>
                     <property>
                        <name>mapreduce.outputformat.class</name>
                        <value>org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat</value>
                    </property>
                     <property>
                        <name>mapred.reduce.tasks</name>
                        <value>2</value>
                    </property>
                    <property>
                        <name>mapred.map.tasks</name>
                        <value>2</value>
                    </property>
                    <property>
                        <name>mapred.input.dir</name>
                        <value>/zqc/264/clean/session/20180415</value>
                    </property>
                    <property>
                        <name>mapred.output.dir</name>
                        <value>/zqc/264/tmp/${outputDir}</value>
                    </property>
                </configuration>
                <file>/user/root/examples/apps/java-main/config</file>
            </map-reduce>
            <ok to="end"/>
            <error to="fail"/>
        </action>
        <kill name="fail">
            <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
        <end name="end"/>
    </workflow-app>

    “`

    展开全文
  • oozie细节问题总结

    2018-12-08 17:21:50
    另外如果流程过多,可单个流程进行测试,如果都没有问题,扔到oozie框架中进行测试。 遇到的各种坑 1.hdfs不一定会指定哪一台机器去执行任务,要确保每台机器上都要有jar 包,不然可能会报找不到jar包的异常 2.配置...

    首先写oozie之前一定要理清楚各个流程之间的关系,是用并行还是选择 或者顺序执行,理清楚再去动手,这样会事半功倍。另外如果流程过多,可单个流程进行测试,如果都没有问题,扔到oozie框架中进行测试。
    遇到的各种坑
    1.hdfs不一定会指定哪一台机器去执行任务,要确保每台机器上都要有jar 包,不然可能会报找不到jar包的异常
    2.配置完邮件需要重启服务
    3.orkflow版本用0.5,各个配置的顺序需要按照规范
    4.容量调度yarn.scheduler.capacity.maximum-am-resource-percent配置成0.5(这个视情况而定),然后重启服务
    5.配置hdfs的共享库,把本地环境的jar包上传到对应的组件目录后,删除低版本的jar包,然后执行oozie admin -sharelibupdate
    6.pig read hive时需要指定hive-site.xml,还需要开启hcatalog服务
    7.hive action需要开启hiveserver2,workflow里传参使用argment
    8.job.properties里面的东西记得修改
    9.所有组件必须按照严格的顺序来执行(一般两个小时解决不了的问题,都是很弱智的问题 手动滑稽)
    10.如果用oozied.sh stop无法关闭oozie时候,用kill掉之后记得去删除oozie-server/temp/xxx.pid
    11.workflow.xml配置的时候不要忽略file的属性
    12.oozie的进程用jps查看时,显示的是bootstrap
    13.oozie如果提示数据库连接失败,可能是没有mysql jar包
    14
    如果要写一个执行频率高,且需要时间较长的定时任务时,可设置一个

    10

    自传,勿转

    展开全文
  • 第5章 Oozie常见问题总结 Mysql权限配置 授权所有主机可以使用root用户操作所有数据库和数据表 mysql> grant all on *.* to root@'%' identified by '000000'; mysql> flush privileges; mysql> exit; ...
  • CREATE database oozie DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; GRANT ALL PRIVILEGES ...
  • Oozie使用MySQL数据库的配置

    千次阅读 2018-01-13 22:30:34
    首先必须配置Oozie-site.xml中的值,如下 oozie.service.JPAService.create.db.schema true Creates Oozie DB. If set to true, it creates the DB schema if it d
  • 可是我Hive连数据库问题呀,其他的也都正常,没有oozie我Hue就起不来了。 回忆了一下,数据库之前是单点的,后面作过一次高可用的部署。oozie也都是正常的。怎么换了个节点就不行了。 登录数据库建库建表删库什
  • 安装oozie是报错问题

    2018-12-14 11:45:26
    安装oozie时执行下面语句连接数据库时报错 先确保mysql里有数据库oozie bin/oozie-setup.sh db create -run -sqlfile oozie.sql 报错 java.lang.Exception: Could not connect to the database: java.sql....
  • 问题描述 通过oozie调度sqoop作业时,需要输入数据库作业密码,但在sqoop元数据服务配置密码后,过一段时间会失效。 解决方法 将数据库密码写入HDFS文件,通过配置Sqoop job,实现传入密码 示例 某数据库数据...
  • Oozie

    2019-09-06 21:58:14
    一、 Apache Oozie 1. Oozie概述 Oozie 是一个用来管理 Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG(有向无环图)...
  • Oozie Ssh Action问题排查

    千次阅读 2016-07-17 10:24:02
    Oozie的Workflow中,我们使用ssh action登录到一台节点上,并且在该节点上部署了脚本做数据库的建表操作。问题出在ssh action中,并且抛出了一个Cannot run program "scp": error=error=2, No such file or ...
  • oozie4.3.0的安装与配置+hadoop2.7.3

    千次阅读 2018-03-16 17:28:13
    安装步骤mysql的配置oozie的安装oozie的配置oozie的启动与登录常用oozie的命令1. mysql的配置mysql的安装自行解决,然后在mysql上 创建oozie数据库,创建oozie用户名和密码,并...//(设置oozie数据库的访问权限) ...
  • oozie

    2019-07-20 17:42:03
    1、 oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎,它可以用来调度与管理hadoop任务,如,MapReduce、Pig等。那么,对于OozieWorkflow中的一个个的action(可以理解成一个个MapReduce任务)Oozie是...
  • cdh Table 'oozie.VALIDATE_CONN' doesn't exist

    千次阅读 2018-11-07 13:08:52
    cdh Table 'oozie.VALIDATE_CONN' doesn't exist 方法一: oozie实例--操作--创建Oozie数据库表,如下图:   方法二: 手动创建数据库表 sql如下: oozie 数据库表

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,955
精华内容 3,182
关键字:

oozie数据库问题