-
azkaban
2020-07-14 17:46:18azkaban1、概述
azkaban是一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。
2、结构
3、启动和关闭
//executor azkaban/executor/bin/azkaban-executor-start.sh azkaban/executor/bin/azkaban-executor-shutdown.sh //web-server azkaban/server/bin/azkaban-web-start.sh azkaban/server/bin/azkaban-web-shutdown.sh
注意:先执行executor,再执行web,避免Web Server会因为找不到执行器启动失败
4、简单案例
mapreduce.job
type=command command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wordcount/input /wordcount/output
打包上传执行
-
Azkaban
2020-02-01 14:00:15
收藏数
5,817
精华内容
2,326
-
【数据分析-随到随学】Spark理论及实战
-
转行做IT-第5章 流程控制语句
-
狂雨小说采集规则1.txt
-
性能测试面面观
-
linux基础
-
堆排序 HeapSort
-
微信支付2021系列之付款码支付一学就会java版
-
android笔试面试和实战课程
-
Java无损导出及转换word文档
-
个人理财第十课-【混合基金】筛选实操课
-
Axios(Vue-Resource的取代者、拦截器)
-
算法导论(基础知识)——编程大牛的必经之路
-
蓝桥云课 楼赛 第22期 多项式回归实现及应用 参考答案(没通过???)
-
【数据分析-随到随学】机器学习模型及应用
-
计算机专业文献综述格式示例.doc
-
JDK1.8安装程序.zip
-
基于51单片机的智能计算器.zip
-
API HOOK拦截指定进程发送和接收的网络数据包.zip
-
python数据分析基础
-
仿Spy++ 将DLL代码注入EXE的三种方法.zip