智能任务流概述¶
生产型的机器学习模型一般因为数据的更新和算法的优化需要不断迭代。ML生命周期管理贯穿于整个机器学习任务流程,包括数据预处理、模型训练、模型注册、模型部署、模型服务以及运行监控。
企业分析平台将上述流程通过智能任务流,进行任务流设计和编排、生产发布和调度运行,并通过 DAG 的方式进行表达,实现模型的自动迭代发布。在线下设计中集成了丰富的算子,支持条件判断、循环展开等逻辑表达,并在线下完成实验仿真运行;在线上生产中提供自动化的调度功能,并对每次运行实例进行记录、跟踪和归档。端到端地实现生产型机器学习的全生命周期管理和模型的迭代优化。
智能任务流的组成和架构如下图所示: