大数据调度系统，是整个离线批处理任务和准实时计算计算任务的驱动器。这里我把几个常见的调度系统做了一下分类总结，结合目前阿里云上的MaxCompute中的调度系统，做个对比。 Oozie Oozie是一个workflow(工作流)协调系统,是由Cloudera公司贡献给Apache的,主要用来管理Hadoop作业(job)。 类型支持 统一调度hadoop系统中常见的mr任务启动、Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等。 可视化流程定义 配置相关的调度任务复杂，依赖关系、时间触发、事件触发使用xml语言进行表达。 任务监控 任务状态、任务类型、任务运行机器、创建时间、启动时间、完成时间等。 暂停/恢复/补数 支持启动/停止/暂停/恢复/重新运行：支持启动/停止/暂停/恢复/重新运行。 其他 可以通过DB支持HA(高可用)。调度任务时可能出现死锁，依赖当前集群版本，如更新最新版，易于现阶段集群不兼容。 Azkaban Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 类型支持 command、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式扩展。 实际项目中经常有这些场景：每天有一个大任务，这个大任务可以分成A，B，C，D四个小任务，A，B任务之间没有依赖关系，C任务依赖A，B任务的结果，D任务依赖C任务的结果。一般的做法是，开两个终端同时执行A,B，两个都执行完了再执行C，最后再执行D。这样的话，整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置crontab执行。其实，整个过程类似于一个有向无环图（DAG）。每个子任务相当于大任务中的一个流，任务的起点可以从没有度的节点开始执行，任何没有通路的节点之间可以同时执行，比如上述的A，B。总结起来的话，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器。 可视化流程定义 提供job配置文件快速建立任务和任务之间的依赖关系，通过自定义DSL绘制DAG并打包上传。 任务监控 只能看到任务状态。 暂停/恢复/补数 只能先将工作流杀死在重新运行。 其他 通过DB支持HA，任务太多时会卡死服务器。 AirFlow Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015 年春季开源，2016 年加入 Apache 软件基金会的孵化计划。Airflow 通过 DAG 也即是有向非循环图来定义整个工作流，因而具有非常强大的表达能力。 类型支持 支持Python、Bash、HTTP、Mysql等，支持Operator的自定义扩展。 可视化流程定义 需要使用Python代码来定义流程。 任务监控 不直观。 暂停/恢复/补数 杀掉任务，重启。 其他 任务过多会卡死。 XXL-Job XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用。 类型支持 基于Java。 可视化流程定义 无，但是可以配置任务之间的依赖。 任务监控 无 暂停/恢复/补数 可以暂停、恢复。 其他 支持HA。任务是基于队列的，轮询机制。 DolphinScheduler DolphinScheduler是今年（2019年）中国易观公司开源的一个调度系统，在今年美国时间2019年8月29号，易观开源的分布式任务调度引擎DolphinScheduler（原EasyScheduler）正式通过顶级开源组织Apache基金会的投票决议，根据Apache基金会邮件列表显示，在包含11个约束性投票(binding votes)和2个无约束性投票(non-binding votes)的投票全部持赞同意见，无弃权票和反对票，投票顺利通过，这样便以全票通过的优秀表现正式成为了Apache孵化器项目。 Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 类型支持 支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process。 可视化流程定义 所有流、定时操作都是可视化的，通过拖拽来绘制DAG,配置数据源及资源，同时对于第三方系统，提供api方式的操作。 任务监控 任务状态、任务类型、重试次数、任务运行机器、可视化变量，以及任务流执行日志。 暂停/恢复/补数 支持暂停、恢复、补数操作。 其他 支持HA，去中心化的多Master和多Worker。DolphinScheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系。无法做到细节的权限管控。 任务队列机制，单个机器上可调度的任务数量可以灵活配置，当任务过多时会缓存在任务队列中，不会操作机器卡死。 调度器使用分布式调度，整体的调度能力会随集群的规模线性正常，Master和Worker支持动态上下线，可以自由进行配置。 可以通过对用户进行资源、项目、数据源的访问授权。支持，可视化管理文件，及相关udf函数等。
每次10分钟跟我学Python（第六次课）大家好！我是幻化意识流，简称意识流。现在我们继续Python的学习。我们打开IDLE。上节课思考题A3会输出什么结果？A3AAA神奇吧输出的是由3个A组成的字符串。也就是说，对A进每次10分钟跟我学Python（第八次课）大家好！我是幻化意识流。上次课中我们输入的如下内容为注释文字我人生中的第一个Pyhon程序在一行字号后面的所有文本都会被注释掉，会被Python忽略掉不去执行。形如print（）i新一代骨传导黑科技？南卡骨传导RunnerPro为你呈现哈喽大家好，我是你们的校长！今天给各位带来的是南卡的新一代骨传导耳机南卡骨传导RunnerPro！南卡作为国内较早探索骨传导耳机领域的一批厂商，如今产品更新也来到了第三代，从初代的黑科技骨传导耳机南卡骨传导RunnerPro哈喽大家好，我是你们的校长！今天给各位带来的是南卡的新一代骨传导耳机南卡骨传导RunnerPro！南卡作为国内较早探索骨传导耳机领域的一批厂商，如今产品更新也来到了第三代，一代又一黑科技降噪蓝牙耳机LolliPodsPro全面点评哈喽大家好，我是你们的校长！今天给大家带来的是这款漫步者LolliPodsPro！作为大学生，对于主动降噪耳机的需求还是蛮大的，在宿舍想听一些自己想听的歌，在上学路上听听英语听力，2021一生很短，人生聚散，一切随缘，愿你不会太累一生很短浩然天地匆匆一瞥一生很长穿过无尽山川海洋有的人，陪你一程便已走散有的人，风雨同舟不离不弃人生聚散，皆由天定缘来缘去，强求不来有的遇见，聊着聊着就成了朋友有的遇见，走着走着就4月30日，世界上唯一不能复制的是时间唯一不能重演的是人生4月30日每日简报，农历三月十九，星期五！1今年五一假期继续免收小型客车通行费五一出游人次有望突破两亿国内旅游有望强劲复苏2北京出台高校学生公寓管理办法原则上不允许学生校外租房居住5月8日，如果你真的愿意去努力，你的人生最坏的结果5月8日每日简报，农历三月廿七，星期六！刷视频不如看看今天报告1海关总署前4个月进出口总值11。62万亿元人民币同比增长28。52公安部2020年以来，打掉网络赌博平台3400余个5月7日，人生有时难免会陷入困境，但人的高贵在于，困境中依然保5月7日每日简报，农历三月廿六，星期五！刷视频不如看看今天报告1五一假期国内旅游出游2。3亿人次旅游收入1132。3亿元五一假期全国揽投快递包裹近26亿件创新高！五一档票房超16。竞争，成就人生在生活中我喜欢有一个竞争对手，因为有了对手我们的人生才不会像白开水，而是让生活变得五彩斑斓。人生为对手鼓掌是一种智慧，我认为智慧才是为人处世的资本，我愿意放低姿态为对手加油，因为有5月18日，人生没有那么多的假设，现实是一个一个真实的耳光5月18日每日简报，农历四月初七，星期二！刷视频不如看看今天报告1全国民办学校18。67万所，占全国学校总数的三成以上2北京铁路局发现铁路汛期险情拨打12306，最高奖励2万3安徽