上架模型版本


完成模型注册后,可上架模型的第一个版本。


在上架模型版本时,你可以将在智能实验室中开发的模型,或将在本机上开发的模型,构建成可用于托管的模型镜像文件。

上架版本

通过以下步骤,上架模型的第一个版本:

  1. 打开模型列表页,选择已注册的模型,点击进入 模型版本管理 页面。

  2. 点击 版本上架,然后按照指引依次完成版本配置、构建日志、参数设置、和测试上架版本。

../_images/deploy_version.png

配置版本信息

  1. 在版本配置页面的 版本信息 一栏中,完成版本的基本信息配置:

    • 版本规则:选择版本的命名规则,目前支持按上架版本时的系统时间戳命名版本

    • 架构基础:选择运行模型版本的基础硬件

    • 协处理器:选择运行模型版本的协处理器,各类协处理器支持的计算框架如下:

      • GPU:支持tensorflow、pytorch、h2o、spark、others(注:由于当前IaaS不支持GPU,模型版本上架暂不支持GPU的能力)

      • TPU:支持tensorflow、pytorch

      • VPU:支持tensorflow、pytorch

      • 无:默认选项,计算架构保持当前逻辑

    • 计算框架:选择运行模型版本的计算框架

    • 语言环境:选择开发模型版本的语言(与选择的计算框架相匹配)

    • 发布者:输入发布模型版本的用户名称,默认为当前EnOS用户名称

    • 描述:输入对模型版本的简要描述

    ../_images/version_basic.png
  2. 在版本配置页面的 模型构建 一栏中,选择构建模型的方式,并完成对应的模型文件上传配置。

  3. 如选择 MLflow 导入方式,通过以下步骤选择构建模型版本的文件:

    • Fall Path 一栏中,点击 导入文件。弹窗中将显示通过智能实验室训练任务生成的Artifacts文件。有关通过 MLflow 查看模型构建文件的详细信息,参考 查看实例运行结果

    • 浏览并选择需要构建的模型文件所在的目录后(目录层级为:项目名 > Run Name > 实例名),点击 确认

    ../_images/ml_flow_view.png
    • 选中的模型构建文件目录将显示在 Fall Path 一栏中。

    ../_images/ml_flow.png
  4. 如选择 容器镜像文件导入,系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成服务。

    • 点击 Artifacts源Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)

    • 在已选择的文件列表中,查看文件详细信息,移除不需要的文件

    • Entry Point 下拉菜单中,选择 Dockerfile

    ../_images/docker_file.png
  5. (可选)在从Artifacts源导入镜像文件时,如需管理目标文件夹中的目标文件,可点击页面右侧的 管理目标文件夹,在弹窗中拖动目标文件到指定文件夹,也可对目标文件夹进行管理操作。

    ../_images/managing_folders.png
  6. 如选择 Seldon 导入方式,可使用s2i build从源代码创建Docker镜像。系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成服务。

    • 点击 Artifacts源Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)

    • 在已选择的文件列表中,查看文件详细信息,移除不需要的文件

    • Entry Point 下拉菜单中,选择入口文件。

    ../_images/seldon_core.png
  7. 如选择 自定义第三方导入,可在第三方自定义的系统上将模型打包成为Docker镜像文件,然后导入。

    • 目前支持在线访问的文件加载方式,在 地址 输入框中,输入获取模型文件的地址。

    ../_images/customized.png
  8. 完成模型文件上传配置后,点击 下一步,系统将自动开始模型构建。

构建模型

构建日志 页面,查看模型的构建过程。构建日志将实时显示模型的构建过程,并记录构建耗费的时间。


若模型构建失败,可通过查看日志,定位失败的原因后,点击 上一步 修改配置。


模型构建成功后,可点击 下一步 完成参数设置。


../_images/build_model.png

设置模型参数(可选)

通过参数设置,可配置模型的定制参数,为非必填项,模型版本可以不设置参数。

测试上架模型

根据新建模型时设置的数据输入输出参数,写入测试脚本,可测试模型版本是否能正常工作。

  1. 参数输入 框中,写入测试脚本,点击 发起测试。注意:自动生成的特征参数的测试 JSON 文件大小不能超过32KB。

    ../_images/test_version.png
  2. 返回结果 框中,查看模型版本的测试结果。

    ../_images/test_result.png
  3. 测试通过后,点击 提交,将模型版本发布上架。

    ../_images/deployed_version.png
  4. 返回 模型版本管理 页面,在 版本管理 标签下查看已部署上架的模型版本。此时模型版本的状态为 候选,完成检查后,可将模型版本部署上线运行。

    ../_images/version_list.png

导出模型版本镜像

模型版本上架完成后,EAP管理员或EAP项目人员可导出模型版本镜像,用于在边缘设备或在未安装EAP的私有环境中部署模型服务。

  1. 模型版本管理 页面的 版本管理 标签下,查看已上架的模型版本。

  2. 点击模型版本列表中的 镜像文件导出 图标,将镜像文件下载到本地。

    ../_images/downloading_model_version_image.png

备注

导出的镜像文件不能超过 1GB,否则会导出失败。超过 1GB 的镜像文件需要联系集群管理员在 Harbor 中手动导出。

下一步

完成模型版本上架后,可将版本部署上线,进入生产状态。详细信息,参考 部署上线模型版本