处理算子


智能任务流提供以下任务处理相关算子:

  • Notebook 算子

  • Python 算子

  • Shell 算子

  • Email 算子

Notebook 算子

Notebook 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。通常开发的模型代码文件会保存到 Git 上,可使用 Notebook 算子会从 Git Directory 算子获取代码文件并执行。典型的场景是执行 Python 任务,运行 Python 代码文件,训练机器学习模型,产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。


Notebook 算子常与 Git Directory 算子组合使用。例如:

../_images/notebook_calculator.png

输入参数说明

名称

必需/可选

类型

描述

workspace

必需

Directory

指定代码所在的文件目录,通常来自 Git Directory 算子指定的 directory

entrypoint

必需

String

指定入口程序文件名称,文件名称需包含路径(因为不同的目录下可能存在相同名称的文件)。

requirements_file_path

可选

String

指定需要安装的依赖包所在的文件路径。

env

可选

List

指定需要传递的参数列表。

输出参数说明

名称

类型

描述

mlflow_model_file_paths

List

通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。

Python 算子

Python 算子用于处理 Python 脚本任务。Python 算子的参数分为固定参数和动态参数,固定参数不能被删除,动态参数可根据使用的需要新增、修改、和删除。

输入参数说明

下表列出了 Python 算子的固定参数。

名称

必需/可选

类型

描述

workspace

必需

Directory

指定代码所在的文件目录,通常来自 Git Directory 算子。

entrypoint

必需

String

指定入口程序文件名称,文件名称需包含路径。

requirements_file_path

可选

String

指定需要安装的依赖包所在的文件路径。

输出参数说明

Python 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。

Shell 算子

Shell 算子用于处理 Shell 脚本任务,其输入输出参数与 Python 算子相同,可参考 Python 算子的说明文档。

Email 算子

Email 算子用于实现邮件告警功能。

输入参数说明

名称

必需/可选

类型

描述

mail_host

必需

String

邮件服务器IP地址或域名,例如 smtp.163.comsmtp.office365.com

mail_user

必需

String

邮件服务用户名。

mail_pass

必需

Password

与用户名对应的密码。

sender

必需

String

发件人。

receivers

必需

List

收件人列表,可来自组织内用户列表。

content

必需

String

发送邮件内容。

subject

必需

String

发送邮件主题。

输出参数说明

名称

类型

描述

status

String

邮件发送状态。

content_out

String

邮件发送内容。