处理算子


智能任务流提供以下任务处理相关算子:

  • Python 算子

  • PythonEx 算子

  • PythonCode 算子

  • Shell 算子

  • ShellEx 算子

  • ShellCode 算子

  • Notebook 算子

  • NotebookEx 算子

  • ParallelFor Status List 算子

  • Pipeline Trigger 算子

  • APIM 算子

  • Email 算子

  • EnOS Mail 算子

  • EnOS SMS 算子

Python 算子


Python 算子用于处理 Python 脚本任务,与 Git Directory 算子组合使用。Python 算子的参数分为固定参数和动态参数,固定参数不能被删除,动态参数可根据使用的需要新增、修改、删除和排序。

输入参数说明


以下为 Python 算子的固定参数。

名称

必需/可选

类型

描述

workspace

必需

Directory

指定代码所在的文件目录,通常来自 Git Directory 算子。

entrypoint

必需

String

指定入口程序文件名称,文件名称需包含路径。

requirements_file_path

可选

String

指定需要安装的依赖包所在的文件路径。

输出参数说明


Python 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。

PythonEx 算子


PythonEx 算子用于处理已保存在平台内部存储中的 Python 脚本任务。PythonEx 算子的参数分为固定参数和动态参数,固定参数不允许删除,动态参数可根据使用的需要新增、修改和删除。

输入参数说明


下表列出了 PythonEx 算子的固定参数。

名称

必需/可选

类型

描述

workspace

必需

notebook_dir

指定代码所在的文件目录。

entrypoint

必需

notebook_file

指定入口程序文件名称,文件名称需包含路径。

requirements

可选

notebook_file

指定需要安装的依赖包。

输出参数说明


PythonEx 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。

PythonCode 算子


PythonCode 算子用于运行 Python 代码。

输入参数说明


名称

必需/可选

类型

描述

code

必需

python

输入 Python 代码。

requirements

可选

list

指定依赖包。

输出参数说明


名称

类型

描述

mlflow_model_file_paths

list

Mlflow 模型文件的目录列表。

Shell 算子


Shell 算子用于处理 Shell 脚本任务,与 Git Directory 算子组合使用。其输入输出参数配置与 Python 算子相同,可参考 Python 算子的说明。

ShellEx 算子


ShellEx 算子用于处理已保存在平台内部存储中的 Shell 脚本。其输入输出参数配置与 PythonEx 算子相同,可参考 PythonEx 算子的说明。

ShellCode 算子


ShellCode 算子用于运行 Shell 代码。

输入参数说明


名称

必需/可选

类型

描述

code

必需

shell

输入 Shell 代码。

requirements

可选

list

指定依赖包。

输出参数说明


ShellCode 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。

Notebook 算子


Notebook 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。Notebook 算子常与 Git Directory 算子组合使用,通常开发的模型代码文件会保存到 Git 上,Notebook 算子会从 Git Directory 算子获取代码文件并执行。典型的场景是执行 Python 任务,运行 Python 代码文件,训练机器学习模型,产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。


Notebook 算子的输入输出参数为动态参数,可按需要添加输入输出参数,或对参数进行排序。

输入参数说明


以下为常用输入参数示例:

名称

必需/可选

类型

描述

workspace

必需

Directory

指定代码所在的文件目录,通常来自 Git Directory 算子指定的 directory

entrypoint

必需

String

指定入口程序文件名称,文件名称需包含路径(因为不同的目录下可能存在相同名称的文件)。

requirements_file_path

可选

String

指定需要安装的依赖包所在的文件路径。

env

可选

List

指定需要传递的参数列表。

输出参数说明


以下为常用输出参数示例:

名称

类型

描述

mlflow_model_file_paths

List

通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。

NotebookEx 算子


NotebookEx 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。NotebookEx 会从内部存储中获取代码文件并执行,典型的场景是执行 Python 任务,运行 Python 代码文件,训练机器学习模型,产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。关于如何上传代码文件到内部存储,可参考 上传模型代码到内部存储


NotebookEx 算子的输入输出参数为动态参数,可按需要添加输入输出参数,或对参数进行排序。

输入参数说明


以下为常用输入参数示例:

名称

必需/可选

类型

描述

workspace

必需

notebook_dir

指定代码所在的内部存储文件目录。

entrypoint

必需

notebook_file

指定内部存储入口程序文件名称,文件名称需包含路径。

requirements

可选

notebook_file

指定需要安装的依赖包。

env

可选

List

指定需要传递的参数列表,默认为空。

输出参数说明


以下为常用输出参数示例:

名称

类型

描述

mlflow_model_file_paths

List

通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。

Pipeline Trigger 算子


Pipeline Trigger 算子仅可作为退出算子使用,可用于调用其它任务流。

输入参数说明


名称

必需/可选

类型

描述

experiment

必需

pipeline_experiment

选择被调用的任务流。可选本 OU 下除了本算子所在任务流以外的所有其他任务流。

输出参数说明


名称

类型

描述

pipeline_run_id

String

被调用的任务流运行名称。

pipeline_run_info

String

被调用的任务流运行信息。

ParallelFor Status List 算子


ParallelFor Status List 算子用于获取 ParallelFor 运行后每个 Item 的运行结果相关信息。

输入参数说明


名称

必需/可选

类型

描述

run_id

必需

String

输入运行实例名称,可选择本 OU 下的所有任务流。

parallelfor_path

必需

String

算子位置。

输出参数说明


名称

类型

描述

result

List

输出信息。

APIM 算子


APIM 算子用于从指定 API 连接中获取数据。

输入参数说明


名称

必需/可选

类型

描述

url

必需

String

输入需要调用的 API 地址。

access_key

必需

String

输入调用 API 的 AccessKey。

secret_key

必需

password

输入调用 API 的 SecretKey。填写或修改后保存,再次进入任务流设计页面查看此算子时此处会显示为空。

http_method

必需

http_method

指定请求方式。可选值为:GET、POST、PUT 和 DELETE。

body

可选

String

输入请求体。

headers

可选

String

输入请求头。

输出参数说明


名称

类型

描述

result

File

输出 API 调用结果。

Email 算子


Email 算子用于实现邮件告警功能。

输入参数说明


名称

必需/可选

类型

描述

mail_host

必需

String

邮件服务器IP地址或域名,例如 smtp.163.comsmtp.office365.com

mail_user

必需

String

邮件服务用户名。

mail_pass

可选

Password

与用户名对应的密码。

sender

必需

String

发件人。

receivers

必需

List

收件人列表,可来自组织内用户列表。

content

必需

String

发送邮件内容。

subject

必需

String

发送邮件主题。

on_condition

可选

Run_status

在指定值为 succeed,completed,或 failed 时,该算子可作为退出算子使用。当任务流为指定的状态时,触发邮件发送。

输出参数说明


名称

类型

描述

status

String

邮件发送状态。

content_out

String

邮件发送内容。

EnOS Mail 算子


EnOS Email 算子用于通过 envision-digital 邮箱发送通知邮件。

输入参数说明


名称

必需/可选

类型

描述

sender_identifier

必需

String

指定发件邮箱地址。

receivers

必需

user_contact_list

指定收件邮箱地址。

copyto

可选

user_contact_list

指定抄送邮箱地址。

locale

可选

locale

选择邮件语言。

module

必需

module

选择相关的智能工作室模块。

target

必需

string

输入邮件通知的目标信息,例如模型名称、实例名称、数据集名称等。

incident

必需

string

输入与邮件通知相关联的事件信息。

detail

必需

string

输入事件的细节描述或其它相关信息。

priority

必需

string

选择邮件通知的优先级。

on_condition

可选

Run_status

在指定值为 succeed,completed,或 failed 时,该算子可作为退出算子使用。当任务流为指定的状态时,触发邮件发送。

输出参数说明


EnOS Mail 算子无输出参数。

EnOS SMS 算子


EnOS SMS 算子用于发送短信通知。

输入参数说明


名称

必需/可选

类型

描述

recipients

必需

user_contact_list

指定短信接收人的手机号码和区号。

tunnel

必需

tunnel

指定发送短信的运营商。

signature

可选

string

输入短信的签名信息。

locale

可选

locale

选择短信通知的语言。

module

必需

module

选择与短信通知相关的智能工作室模块。

target

必需

string

输入消息通知的目标信息,例如模型名称、实例名称、数据集名称等。

incident

必需

string

输入与通知相关联的事件信息。

priority

必需

string

指定通知的优先级。

on_condition

可选

Run_status

在指定值为 succeed,completed,或 failed 时,该算子可作为退出算子使用。当任务流为指定的状态时,触发短信发送。

输出参数说明


EnOS SMS 算子无输出参数。