处理算子¶
智能任务流提供以下任务处理相关算子:
Notebook 算子
Python 算子
Shell 算子
Email 算子
Notebook 算子¶
Notebook 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。通常开发的模型代码文件会保存到 Git 上,可使用 Notebook 算子会从 Git Directory 算子获取代码文件并执行。典型的场景是执行 Python 任务,运行 Python 代码文件,训练机器学习模型,产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。
Notebook 算子常与 Git Directory 算子组合使用。例如:
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
workspace |
必需 |
Directory |
指定代码所在的文件目录,通常来自 Git Directory 算子指定的 |
entrypoint |
必需 |
String |
指定入口程序文件名称,文件名称需包含路径(因为不同的目录下可能存在相同名称的文件)。 |
requirements_file_path |
可选 |
String |
指定需要安装的依赖包所在的文件路径。 |
env |
可选 |
List |
指定需要传递的参数列表。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
mlflow_model_file_paths |
List |
通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。 |
Python 算子¶
Python 算子用于处理 Python 脚本任务。Python 算子的参数分为固定参数和动态参数,固定参数不能被删除,动态参数可根据使用的需要新增、修改、和删除。
输入参数说明¶
下表列出了 Python 算子的固定参数。
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
workspace |
必需 |
Directory |
指定代码所在的文件目录,通常来自 Git Directory 算子。 |
entrypoint |
必需 |
String |
指定入口程序文件名称,文件名称需包含路径。 |
requirements_file_path |
可选 |
String |
指定需要安装的依赖包所在的文件路径。 |
输出参数说明¶
Python 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。
Shell 算子¶
Shell 算子用于处理 Shell 脚本任务,其输入输出参数与 Python 算子相同,可参考 Python 算子的说明文档。
Email 算子¶
Email 算子用于实现邮件告警功能。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
mail_host |
必需 |
String |
邮件服务器IP地址或域名,例如 |
mail_user |
必需 |
String |
邮件服务用户名。 |
mail_pass |
必需 |
Password |
与用户名对应的密码。 |
sender |
必需 |
String |
发件人。 |
receivers |
必需 |
List |
收件人列表,可来自组织内用户列表。 |
content |
必需 |
String |
发送邮件内容。 |
subject |
必需 |
String |
发送邮件主题。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
status |
String |
邮件发送状态。 |
content_out |
String |
邮件发送内容。 |