相关特性

最近更新时间: 2019-11-22 21:53:07

  • 资源调度(资源管理):任务执行所需计算资源由调度系统统一管理、统一分配。

  • 多平台任务调度:不仅支持在传统主机上运行的任务调度,也支持在容器内运行、在Hadoop集群中运行的任务调度。

  • 多语言任务调度:不仅Shell、Python等脚本语言任务的调度,也支持流计算任务调度。

  • 任务优先级调度:除了按作业依赖进行调度外,还按作业优先级分配资源进行调度。

  • 多租户隔离:运维中心(调度系统)本身支持多租户,但为避免作业执行时相互之间产生影响,对于不同租户作业,使用不同的作业队列分别进行作业派发。在执行层面为避免作业相互影响,系统引入了容器。作业均在容器中执行,避免了执行时在性能、安全性上相互影响及租户资源使用统计的问题。

  • 作业流/作业依赖支持:支持灵活的作业流/作业依赖配置,即可以配置一个作业流/作业依赖外部其它的作业流/作业、事件等,并可以指定偏移时间。该方式对多个有依赖的作业流/作业执行十分便利。

  • 高可用:运维中心(调度系统)从以下两方面做到系统的高可用

1)使用MQ在系统间进行消息传递,同类模块集群部署,各节点均为无状态节点。

2)对于需要协同的模块,通过ZooKeeper Leader选举,选出Leader节点进行数据分片、及其它只需要集群中一个节点处理的逻辑。Leader节点因各种情况宕掉后,其它节点会自动选举出新的Leader节点来工作。

  • 资源控制:租户可以对购买的资源按需灵活的进行资源组划分,如YARN类资源组、容器类资源组。这些资源组又可以从另一维度分为测试资源组与生产资源组。同时,租户也可以对作业流/作业并行进行灵活控制,避免某类作业占住所有资源。作业执行节点也可以根据自身负载决定是否接收新的作业去执行。