Deploying a Model Version¶
完成模型注册后,可上架模型的第一个版本。
在上架模型版本时,你可以将在创作实验室中开发的模型,或将在本机上开发的模型,构建成可用于托管的模型镜像文件。
上架版本¶
通过以下步骤,上架模型的第一个版本:
打开模型列表页,选择已注册的模型,点击进入 模型版本管理 页面。
点击 版本上架,然后按照指引依次完成版本配置、构建日志、参数设置、和测试上架版本。
配置版本信息¶
在版本配置页面的 版本信息 一栏中,完成版本的基本信息配置:
版本规则:选择版本的命名规则,目前支持按上架版本时的系统时间戳命名版本
架构基础:选择运行模型版本的基础硬件
计算框架:选择运行模型版本的计算框架
语言环境:选择开发模型版本的语言(与选择的计算框架相匹配)
发布者:输入发布模型版本的用户名称,默认为当前EnOS用户名称
描述:输入对模型版本的简要描述
在版本配置页面的 模型构建 一栏中,选择构建模型的方式,并完成对应的模型文件上传配置。
如选择 ML flow导入,系统将在开发实验室的训练任务中找到生成的Artifacts文件,通过ML flow的流程导入模型并生成推理服务。
在 Fall Path 输入框中输入模型文件的路径
或点击输入框旁的图标,在弹窗中选择模型文件所在的文件夹
如选择 容器镜像文件导入,系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成推理服务。
点击 Artifacts源 或 Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)
在已选择的文件列表中,查看文件详细信息,移除不需要的文件
在 Entry Point 下拉菜单中,选择
Dockerfile
。
如选择 Seldon core方式导入,可使用s2i build从源代码创建Docker镜像。系统将自动指定文件夹所在位置,你可以从Artifacts源和Git源的多个层级目录中选择构建模型需要的目标文件。部署模型时,系统将使用指定的镜像部署成推理服务。
点击 Artifacts源 或 Git源,选择部署模型的镜像文件(可在两个源上反复多次操作选择文件)
在已选择的文件列表中,查看文件详细信息,移除不需要的文件
在 Entry Point 下拉菜单中,选择入口文件。
如选择 自定义第三方导入,可在第三方自定义的系统上将模型打包成为Docker镜像文件,然后导入。
目前支持在线访问的文件加载方式,在 地址 输入框中,输入获取模型文件的地址。
完成模型文件上传配置后,点击 下一步,系统将自动开始模型构建。
构建模型¶
在 构建日志 页面,查看模型的构建过程。构建日志将实时显示模型的构建过程,并记录构建耗费的时间。
若模型构建失败,可通过查看日志,定位失败的原因后,点击 上一步 修改配置。
模型构建成功后,可点击 下一步 完成参数设置。
设置模型参数(可选)¶
通过参数设置,可配置模型的定制参数,为非必填项,模型版本可以不设置参数。
测试上架模型¶
根据新建模型时设置的数据输入输出参数,写入测试脚本,可测试模型版本是否能正常工作。
在 参数输入 框中,写入测试脚本,点击 发起测试。
在 返回结果 框中,查看模型版本的测试结果。
测试通过后,点击 完成,将模型版本发布上架。
返回 模型版本管理 页面,查看已部署上架的模型版本。此时模型版本的状态为 候选,完成检查后,可将模型版本发布上线。
下一步¶
完成模型版本上架后,可将版本部署上线,进入生产状态。详细信息,参考 部署上线模型版本。