升级模型版本¶
当完成模型新版本的开发后,可将新的版本上架到对应模型中。可通过以下部署方式升级模型版本,并根据不同的返回结果选择最优版本:
金丝雀部署:为每个模型版本分配流量百分比。金丝雀部署无需做融合优选,需根据模型版本的返回结果人工选择模型版本。
蓝绿部署:使用请求副本模式,每个模型版本获取相同的服务请求和数据流量。对部署的模型版本进行历史结果追溯,判断历史的模型数值变化和结果表现。可根据指标结果人工选择模型版本,也可根据监控指标的特定排序选择模型版本。
老虎机部署:通过强化学习,选出最优模型版本。模型结合外部反馈数据自动在探索环境中进行结果选优。
金丝雀部署¶
通过以下步骤,使用金丝雀部署方式,升级模型版本:
将模型的新版本发布上架。详细步骤,参见 上架模型版本。
在模型列表中,点击模型名称,打开 模型版本管理 页面,查看所有处于
生产中
或候选
状态的模型版本。点击 部署实例 标签,然后在部署实例列表中,点击待升级的模型版本的部署实例名称。
在打开的 模型部署 页面中,点击 添加升级版本。在 选择升级版本和方式 弹窗中,选择待升级的目标版本,然后点击 确定。
在 模型部署 画布栏中,选中 Router 卡片,然后在右侧的 升级路由服务器 > 流量配置 窗口中,选择 金丝雀 升级方式,并为模型版本分配流量占比。
在 模型部署 画布栏中,选中待升级的模型版本卡片,然后在右侧的 部署配置 窗口中,配置运行该版本的资源。
点击页面右上角的 部署,系统将按资源配置部署模型新版本,并按配置的版本流量比重为各版本分配流量。在部署日志中,查看模型版本部署状态和结果。
蓝绿部署¶
蓝绿部署是多个模型版本的一种部署方式,使用蓝绿部署方式部署模型版本成功后,获取通过模型融合选优设置的最优版本的结果。
模型融合优选有以下2种方式:
加权平均:部署上线多个模型版本,所有版本在流量配置中获取相同的全流量。根据模型生产指标监控反馈,设置每个模型版本的百分比配置,加权平均后返回一个融合结果,如下图所示:
指定唯一:部署上线多个模型版本,所有版本在流量配置中获取相同的全流量。根据模型生产指标监控结果,指定其中一个模型版本返回结果,如下图所示:
通过以下步骤,使用蓝绿部署方式,升级模型版本:
在模型列表中,点击模型名称,打开 模型版本管理 页面。
在 模型版本管理 页面,点击 部署查看。在 模型部署 画布栏中,选中 Router 卡片,然后在右侧的 升级路由服务器 > 流量配置 窗口中,选择 蓝绿 升级方式。
在 升级路由服务器 > 融合优选 窗口中,设置模型融合优选的方式:
如需使用加权平均方式,在 升级方式 下拉菜单中选择 Weighted Average,并为每个模型版本分配权重。
如需使用指定唯一方式,在 升级方式 下拉菜单中选择 Specify Only,并选择一个模型版本返回结果。
点击 模型部署 画布栏中的 部署,系统将按配置部署模型版本。
老虎机部署¶
使用老虎机部署方式部署模型版本成功后,与模型的反馈至结合用于老虎机评优,主要包括以下步骤:
同时部署多个候选模型版本,所有版本的流量配置是通过老虎机的计算在动态中探索的。
将模型的反馈值送入老虎机探索计算。在模型预测过程中,经过每个版本的预测值与反馈的真实值的计算探索,最终只选择精度最高的模型版本返回结果,如下图所示:
通过以下步骤,使用老虎机部署方式,升级模型版本:
在模型列表中,点击模型名称,打开 模型版本管理 页面。
在 模型版本管理 页面,点击 部署查看。在 模型部署 画布栏中,选中 Router 卡片,然后在右侧的 升级路由服务器 > 流量配置 窗口中,选择 老虎机 升级方式。
点击 模型部署 画布栏中的 部署,系统将按配置部署模型版本。