处理算子¶
智能任务流提供以下任务处理相关算子:
Python 算子
PythonEx 算子
PythonCode 算子
Shell 算子
ShellEx 算子
ShellCode 算子
Notebook 算子
NotebookEx 算子
ParallelFor Status List 算子
Pipeline Trigger 算子
APIM 算子
Email 算子
EnOS Mail 算子
EnOS SMS 算子
Python 算子¶
Python 算子用于处理 Python 脚本任务,与 Git Directory 算子组合使用。Python 算子的参数分为固定参数和动态参数,固定参数不能被删除,动态参数可根据使用的需要新增、修改、删除和排序。
输入参数说明¶
以下为 Python 算子的固定参数。
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
workspace |
必需 |
Directory |
指定代码所在的文件目录,通常来自 Git Directory 算子。 |
entrypoint |
必需 |
String |
指定入口程序文件名称,文件名称需包含路径。 |
requirements_file_path |
可选 |
String |
指定需要安装的依赖包所在的文件路径。 |
输出参数说明¶
Python 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。
PythonEx 算子¶
PythonEx 算子用于处理已保存在平台内部存储中的 Python 脚本任务。PythonEx 算子的参数分为固定参数和动态参数,固定参数不允许删除,动态参数可根据使用的需要新增、修改和删除。
输入参数说明¶
下表列出了 PythonEx 算子的固定参数。
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
workspace |
必需 |
notebook_dir |
指定代码所在的文件目录。 |
entrypoint |
必需 |
notebook_file |
指定入口程序文件名称,文件名称需包含路径。 |
requirements |
可选 |
notebook_file |
指定需要安装的依赖包。 |
输出参数说明¶
PythonEx 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。
PythonCode 算子¶
PythonCode 算子用于运行 Python 代码。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
code |
必需 |
python |
输入 Python 代码。 |
requirements |
可选 |
list |
指定依赖包。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
mlflow_model_file_paths |
list |
Mlflow 模型文件的目录列表。 |
Shell 算子¶
Shell 算子用于处理 Shell 脚本任务,与 Git Directory 算子组合使用。其输入输出参数配置与 Python 算子相同,可参考 Python 算子的说明。
ShellEx 算子¶
ShellEx 算子用于处理已保存在平台内部存储中的 Shell 脚本。其输入输出参数配置与 PythonEx 算子相同,可参考 PythonEx 算子的说明。
ShellCode 算子¶
ShellCode 算子用于运行 Shell 代码。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
code |
必需 |
shell |
输入 Shell 代码。 |
requirements |
可选 |
list |
指定依赖包。 |
输出参数说明¶
ShellCode 算子没有固定的输出参数,输出参数可根据使用的需求动态增加。
Notebook 算子¶
Notebook 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。Notebook 算子常与 Git Directory 算子组合使用,通常开发的模型代码文件会保存到 Git 上,Notebook 算子会从 Git Directory 算子获取代码文件并执行。典型的场景是执行 Python 任务,运行 Python 代码文件,训练机器学习模型,产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。
Notebook 算子的输入输出参数为动态参数,可按需要添加输入输出参数,或对参数进行排序。
输入参数说明¶
以下为常用输入参数示例:
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
workspace |
必需 |
Directory |
指定代码所在的文件目录,通常来自 Git Directory 算子指定的 |
entrypoint |
必需 |
String |
指定入口程序文件名称,文件名称需包含路径(因为不同的目录下可能存在相同名称的文件)。 |
requirements_file_path |
可选 |
String |
指定需要安装的依赖包所在的文件路径。 |
env |
可选 |
List |
指定需要传递的参数列表。 |
输出参数说明¶
以下为常用输出参数示例:
名称 |
类型 |
描述 |
---|---|---|
mlflow_model_file_paths |
List |
通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。 |
NotebookEx 算子¶
NotebookEx 算子常用于处理在 Notebook 中验证通过并保存下来的 ipynb 类型的任务。NotebookEx 会从内部存储中获取代码文件并执行,典型的场景是执行 Python 任务,运行 Python 代码文件,训练机器学习模型,产生的模型文件通过 MLflow 的 logmodel 方式记录并输出。关于如何上传代码文件到内部存储,可参考 上传模型代码到内部存储。
NotebookEx 算子的输入输出参数为动态参数,可按需要添加输入输出参数,或对参数进行排序。
输入参数说明¶
以下为常用输入参数示例:
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
workspace |
必需 |
notebook_dir |
指定代码所在的内部存储文件目录。 |
entrypoint |
必需 |
notebook_file |
指定内部存储入口程序文件名称,文件名称需包含路径。 |
requirements |
可选 |
notebook_file |
指定需要安装的依赖包。 |
env |
可选 |
List |
指定需要传递的参数列表,默认为空。 |
输出参数说明¶
以下为常用输出参数示例:
名称 |
类型 |
描述 |
---|---|---|
mlflow_model_file_paths |
List |
通过 MLflow 的 logmodel 方式记录并输出的模型文件路径列表。 |
Pipeline Trigger 算子¶
Pipeline Trigger 算子仅可作为退出算子使用,可用于调用其它任务流。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
experiment |
必需 |
pipeline_experiment |
选择被调用的任务流。可选本 OU 下除了本算子所在任务流以外的所有其他任务流。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
pipeline_run_id |
String |
被调用的任务流运行名称。 |
pipeline_run_info |
String |
被调用的任务流运行信息。 |
ParallelFor Status List 算子¶
ParallelFor Status List 算子用于获取 ParallelFor 运行后每个 Item 的运行结果相关信息。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
run_id |
必需 |
String |
输入运行实例名称,可选择本 OU 下的所有任务流。 |
parallelfor_path |
必需 |
String |
算子位置。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
result |
List |
输出信息。 |
APIM 算子¶
APIM 算子用于从指定 API 连接中获取数据。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
url |
必需 |
String |
输入需要调用的 API 地址。 |
access_key |
必需 |
String |
输入调用 API 的 AccessKey。 |
secret_key |
必需 |
password |
输入调用 API 的 SecretKey。填写或修改后保存,再次进入任务流设计页面查看此算子时此处会显示为空。 |
http_method |
必需 |
http_method |
指定请求方式。可选值为:GET、POST、PUT 和 DELETE。 |
body |
可选 |
String |
输入请求体。 |
headers |
可选 |
String |
输入请求头。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
result |
File |
输出 API 调用结果。 |
Email 算子¶
Email 算子用于实现邮件告警功能。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
mail_host |
必需 |
String |
邮件服务器IP地址或域名,例如 |
mail_user |
必需 |
String |
邮件服务用户名。 |
mail_pass |
可选 |
Password |
与用户名对应的密码。 |
sender |
必需 |
String |
发件人。 |
receivers |
必需 |
List |
收件人列表,可来自组织内用户列表。 |
content |
必需 |
String |
发送邮件内容。 |
subject |
必需 |
String |
发送邮件主题。 |
on_condition |
可选 |
Run_status |
在指定值为 succeed,completed,或 failed 时,该算子可作为退出算子使用。当任务流为指定的状态时,触发邮件发送。 |
输出参数说明¶
名称 |
类型 |
描述 |
---|---|---|
status |
String |
邮件发送状态。 |
content_out |
String |
邮件发送内容。 |
EnOS Mail 算子¶
EnOS Email 算子用于通过 envision-digital
邮箱发送通知邮件。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
sender_identifier |
必需 |
String |
指定发件邮箱地址。 |
receivers |
必需 |
user_contact_list |
指定收件邮箱地址。 |
copyto |
可选 |
user_contact_list |
指定抄送邮箱地址。 |
locale |
可选 |
locale |
选择邮件语言。 |
module |
必需 |
module |
选择相关的智能工作室模块。 |
target |
必需 |
string |
输入邮件通知的目标信息,例如模型名称、实例名称、数据集名称等。 |
incident |
必需 |
string |
输入与邮件通知相关联的事件信息。 |
detail |
必需 |
string |
输入事件的细节描述或其它相关信息。 |
priority |
必需 |
string |
选择邮件通知的优先级。 |
on_condition |
可选 |
Run_status |
在指定值为 succeed,completed,或 failed 时,该算子可作为退出算子使用。当任务流为指定的状态时,触发邮件发送。 |
输出参数说明¶
EnOS Mail 算子无输出参数。
EnOS SMS 算子¶
EnOS SMS 算子用于发送短信通知。
输入参数说明¶
名称 |
必需/可选 |
类型 |
描述 |
---|---|---|---|
recipients |
必需 |
user_contact_list |
指定短信接收人的手机号码和区号。 |
tunnel |
必需 |
tunnel |
指定发送短信的运营商。 |
signature |
可选 |
string |
输入短信的签名信息。 |
locale |
可选 |
locale |
选择短信通知的语言。 |
module |
必需 |
module |
选择与短信通知相关的智能工作室模块。 |
target |
必需 |
string |
输入消息通知的目标信息,例如模型名称、实例名称、数据集名称等。 |
incident |
必需 |
string |
输入与通知相关联的事件信息。 |
priority |
必需 |
string |
指定通知的优先级。 |
on_condition |
可选 |
Run_status |
在指定值为 succeed,completed,或 failed 时,该算子可作为退出算子使用。当任务流为指定的状态时,触发短信发送。 |
输出参数说明¶
EnOS SMS 算子无输出参数。