azkaban是一个任务调度器,在官网中azkaban只提供了源码,我们需要自己编译,但是azkaban在编译的过程中因为网络原因总是编译失败
1
常见任务调度工具及Azkaban的介绍 Azkaban的特点、组成及三种模式 Azkaban3.x的编译与Two-Server模式安装 Azkaban3.xTwo-Server模式的的配置与启动(一) Azkaban3.xTwo-Server模式的的配置与启动(二) Azkaban3.x任务流的类型及创建 Azkaban3.x实现任务流定时调度 Azkaban3.x实现任务流依赖调度 Azkaban3.x用户权限管理及界面功能介绍 Azkaban3.x失败任务处理及邮件提醒部署 Azkaban3.xSolo模式及Multiple模式使用与数据库解析 Azkaban3.x调度离线项目的实现
2022-04-06 02:49:53 721.08MB 大数据 任务调度 Azkaban
实际当中经常有这些场景:每天有一个大任务,这个大任务可以分成A,B,C,D四个小任务,A,B任务之间没有依赖关系,C任务依赖A,B任务的结果,D任务依赖C任务的结果。一般的做法是,开两个终端同时执行A,B,两个都执行完了再执行C,最后再执行D。这样的话,整个的执行过程都需要人工参加,并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的,通过写脚本设置crontab执行。其实,整个过程类似于一个有向无环图(DAG)。每个子任务相当于大任务中的一个流,任务的起点可以从没有度的节点开始执行,任何没有通路的节点之间可以同时执行,比如上述的A,B。总结起来的话,我们需要的就是一个工作流的调度器,而azkaban就是能解决上述问题的一个调度器。
2021-10-14 12:07:15 1.18MB 大数据 Azkaban 任务调度
包括azkaban-db-3.73.1.tar.gz、azkaban-exec-server-3.73.1.tar.gz、azkaban-solo-server-3.73.1.tar.gz、azkaban-web-server-3.73.1.tar.gz
2021-05-19 12:05:30 57.06MB azkaban 大数据 任务调度
Apache DolphinScheduler PPMC在meetup上分享的新一代大数据任务调度-DolphinScheduler功能的深度解析
1