上架模型版本¶
完成模型注册后,可上架模型的第一个版本。
在上架模型版本时,你可以将在智能实验室中开发的模型,或将在本机上开发的模型,构建成可用于托管的模型镜像文件。
上架版本¶
通过以下步骤,上架模型的第一个版本:
打开模型列表页,选择已注册的模型,点击进入 模型版本管理 页面。
点击 版本上架,然后按照指引依次完成版本配置、构建日志、参数设置、和测试上架版本。
配置版本信息¶
在版本配置页面的 版本信息 一栏中,完成版本的基本信息配置:
版本规则:选择版本的命名规则,目前支持按上架版本时的系统时间戳命名版本
架构基础:选择运行模型版本的基础硬件
协处理器:选择运行模型版本的协处理器,各类协处理器支持的计算框架如下:
GPU:支持tensorflow、pytorch、h2o、spark、others(注:由于当前IaaS不支持GPU,模型版本上架暂不支持GPU的能力)
TPU:支持tensorflow、pytorch
VPU:支持tensorflow、pytorch
无:默认选项,计算架构保持当前逻辑
计算框架:选择运行模型版本的计算框架
语言环境:选择开发模型版本的语言(与选择的计算框架相匹配)
发布者:输入发布模型版本的用户名称,默认为当前EnOS用户名称
描述:输入对模型版本的简要描述
在版本配置页面的 模型构建 一栏中,选择构建模型的方式,并完成对应的模型文件上传配置。
如选择 MLflow 导入方式,通过以下步骤选择构建模型版本的文件:
在 Fall Path 一栏中,点击 导入文件。弹窗中将显示通过智能实验室训练任务生成的Artifacts文件。有关通过 MLflow 查看模型构建文件的详细信息,参考 查看实例运行结果。
浏览并选择需要构建的模型文件所在的目录后(目录层级为:项目名 > Run Name > 实例名),点击 确认。
选中的模型构建文件目录将显示在 Fall Path 一栏中。
如选择 容器镜像文件导入,系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成服务。
点击 Artifacts源 或 Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)
在已选择的文件列表中,查看文件详细信息,移除不需要的文件
在 Entry Point 下拉菜单中,选择
Dockerfile
。
(可选)在从Artifacts源导入镜像文件时,如需管理目标文件夹中的目标文件,可点击页面右侧的 管理目标文件夹,在弹窗中拖动目标文件到指定文件夹,也可对目标文件夹进行管理操作。
如选择 Seldon 导入方式,可使用s2i build从源代码创建Docker镜像。系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成服务。
点击 Artifacts源 或 Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)
在已选择的文件列表中,查看文件详细信息,移除不需要的文件
在 Entry Point 下拉菜单中,选择入口文件。
如选择 自定义第三方导入,可在第三方自定义的系统上将模型打包成为Docker镜像文件,然后导入。
目前支持在线访问的文件加载方式,在 地址 输入框中,输入获取模型文件的地址。
完成模型文件上传配置后,点击 下一步,系统将自动开始模型构建。
构建模型¶
在 构建日志 页面,查看模型的构建过程。构建日志将实时显示模型的构建过程,并记录构建耗费的时间。
若模型构建失败,可通过查看日志,定位失败的原因后,点击 上一步 修改配置。
模型构建成功后,可点击 下一步 完成参数设置。
设置模型参数(可选)¶
通过参数设置,可配置模型的定制参数,为非必填项,模型版本可以不设置参数。
测试上架模型¶
根据新建模型时设置的数据输入输出参数,写入测试脚本,可测试模型版本是否能正常工作。
在 参数输入 框中,写入测试脚本,点击 发起测试。注意:自动生成的特征参数的测试 JSON 文件大小不能超过32KB。
在 返回结果 框中,查看模型版本的测试结果。
测试通过后,点击 提交,将模型版本发布上架。
返回 模型版本管理 页面,在 版本管理 标签下查看已部署上架的模型版本。此时模型版本的状态为 候选,完成检查后,可将模型版本部署上线运行。
导出模型版本镜像¶
模型版本上架完成后,EAP管理员或EAP项目人员可导出模型版本镜像,用于在边缘设备或在未安装EAP的私有环境中部署模型服务。
在 模型版本管理 页面的 版本管理 标签下,查看已上架的模型版本。
点击模型版本列表中的 镜像文件导出 图标,将镜像文件下载到本地。
备注
导出的镜像文件不能超过 1GB,否则会导出失败。超过 1GB 的镜像文件需要联系集群管理员在 Harbor 中手动导出。
下一步¶
完成模型版本上架后,可将版本部署上线,进入生产状态。详细信息,参考 部署上线模型版本。