上架模型版本


完成模型注册后,可上架模型的第一个版本。


在上架模型版本时,你可以将在创作实验室中开发的模型,或将在本机上开发的模型,构建成可用于托管的模型镜像文件。

上架版本

通过以下步骤,上架模型的第一个版本:

  1. 打开模型列表页,选择已注册的模型,点击进入 模型版本管理 页面。

  2. 点击 版本上架,然后按照指引依次完成版本配置、构建日志、参数设置、和测试上架版本。

../_images/deploy_version.png

配置版本信息

  1. 在版本配置页面的 版本信息 一栏中,完成版本的基本信息配置:

    • 版本规则:选择版本的命名规则,目前支持按上架版本时的系统时间戳命名版本

    • 架构基础:选择运行模型版本的基础硬件

    • 计算框架:选择运行模型版本的计算框架

    • 语言环境:选择开发模型版本的语言(与选择的计算框架相匹配)

    • 发布者:输入发布模型版本的用户名称,默认为当前EnOS用户名称

    • 描述:输入对模型版本的简要描述

    ../_images/version_basic.png
  2. 在版本配置页面的 模型构建 一栏中,选择构建模型的方式,并完成对应的模型文件上传配置。

  3. 如选择 ML flow导入,系统将在开发实验室的训练任务中找到生成的Artifacts文件,通过ML flow的流程导入模型并生成推理服务。

    • Fall Path 输入框中输入模型文件的路径

    • 或点击输入框旁的图标,在弹窗中选择模型文件所在的文件夹

    ../_images/ml_flow.png
  4. 如选择 容器镜像文件导入,系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成推理服务。

    • 点击 Artifacts源Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)

    • 在已选择的文件列表中,查看文件详细信息,移除不需要的文件

    • Entry Point 下拉菜单中,选择 Dockerfile

    ../_images/docker_file.png
  5. 如选择 Seldon core方式导入,可使用s2i build从源代码创建Docker镜像。系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成推理服务。

    • 点击 Artifacts源Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)

    • 在已选择的文件列表中,查看文件详细信息,移除不需要的文件

    • Entry Point 下拉菜单中,选择入口文件。

    ../_images/seldon_core.png
  6. 如选择 自定义第三方导入,可在第三方自定义的系统上将模型打包成为Docker镜像文件,然后导入。

    • 目前支持在线访问的文件加载方式,在 地址 输入框中,输入获取模型文件的地址。

    ../_images/customized.png
  7. 完成模型文件上传配置后,点击 下一步,系统将自动开始模型构建。

构建模型

构建日志 页面,查看模型的构建过程。构建日志将实时显示模型的构建过程,并记录构建耗费的时间。


若模型构建失败,可通过查看日志,定位失败的原因后,点击 上一步 修改配置。


模型构建成功后,可点击 下一步 完成参数设置。


../_images/build_model.png

设置模型参数(可选)

通过参数设置,可配置模型的定制参数,为非必填项,模型版本可以不设置参数。

测试上架模型

根据新建模型时设置的数据输入输出参数,写入测试脚本,可测试模型版本是否能正常工作。

  1. 参数输入 框中,写入测试脚本,点击 发起测试

    ../_images/test_version.png
  2. 返回结果 框中,查看模型版本的测试结果。

    ../_images/test_result.png
  3. 测试通过后,点击 完成,将模型版本发布上架。

    ../_images/deployed_version.png
  4. 返回 模型版本管理 页面,查看已部署上架的模型版本。此时模型版本的状态为 候选,完成检查后,可将模型版本发布上线。

    ../_images/version_list.png

下一步

完成模型版本上架后,可将版本部署上线,进入生产状态。详细信息,参考 部署上线模型版本