相关定义
最近更新时间: 2019-11-26 15:30:16
了解数据开发时会涉及到以下概念: 作业流:是指一个由作业节点组成的图。每个作业节点按照配置完成一定的处理逻辑。作业节点之间通过有向边进行依赖关联,但关联时不能形成环路。一个画布中的全部作业节点及其依赖称为一个作业流。一般来说,在作业流调度模型中,作业流为调度单元,而其中的作业节点为最小粒度的执行单元。 作业:作业流中的一个节点,即由用户定义的完成一定工作的逻辑单元。在任务调度模型中,作业(或任务)是最小执行单元。
插件:一个作业配置模板,它包含了作业类型和该种类型作业的必要参数,通过插件创建作业时,只需要填写作业类型和必要的参数就可以完成作业的创建,可以极大的节省创建作业的时间。
算子:一段可被高度提炼的逻辑,比如一段被高频率使用的SQL,算子必须依赖于插件存在,并最终可被插件解释和执行。
依赖包:被作业依赖的外部资源,比如一个JAR文件。
在线测试:作业流提交到测试环境执行,通过ENV_ID区分,在线测试不强制要求作业流是发布状态,任何状态都可以测试。
作业测试:同在线测试,但仅运行单个节点作业。
立即执行:将作业流提交到生产环境运行,作业流状态必须是已发布状态。
提交调度:将作业流提交到生产环境并按指定频率运行,作业流状态必须是已发布状态。
项目管理员:项目管理员具有项目下的所有权限,可以添加或删除项目成员,项目成员又分为开发人员和运维人员等。
运维人员:主要负责作业流的执行、调度及审批等。
开发人员:负责作业流的开发,资源维护、UDF开发等。