升级模型版本


当完成模型新版本的开发后,可将新的版本上架到对应模型中。可通过以下部署方式升级模型版本,并根据不同的返回结果选择最优版本:

  • 金丝雀部署:为每个模型版本分配流量百分比。金丝雀部署无需做融合优选,需根据模型版本的返回结果人工选择模型版本。

  • 蓝绿部署:使用请求副本模式,每个模型版本获取相同的服务请求和数据流量。对部署的模型版本进行历史结果追溯,判断历史的模型数值变化和结果表现。可根据指标结果人工选择模型版本,也可根据监控指标的特定排序选择模型版本。

  • 老虎机部署:通过强化学习,选出最优模型版本。模型结合外部反馈数据自动在探索环境中进行结果选优。


金丝雀部署


通过以下步骤,使用金丝雀部署方式,升级模型版本:

  1. 将模型的新版本发布上架。详细步骤,参见 上架模型版本

  2. 在模型列表中,选择模型名称打开 版本管理 页面,查看所有处于 生产中候选 状态的模型版本。

  3. 选择 云端部署 标签,然后在部署实例列表中,选择待升级的模型版本的部署实例名称。

  4. 在打开的 模型部署 页面中,选择 进入配置,选择 +请添加部署版本,在 选择升级版本和方式 弹窗中,选择待升级的目标版本,然后选择 确定


    ../_images/select_upgrade_version.png


  5. 模型部署 画布栏中,选中 Router 卡片,然后在右侧的 升级路由服务器 > 流量配置 窗口中,选择 金丝雀 升级方式,并为模型版本分配流量占比。


    ../_images/version_percentage.png


  6. 模型部署 画布栏中,选中待升级的模型版本卡片,然后在右侧的 部署配置 窗口中,配置运行该版本的资源。

  7. 选择页面右上角的 部署,系统将按资源配置部署模型新版本,并按配置的版本流量比重为各版本分配流量。在部署日志中,查看模型版本部署状态和结果。

蓝绿部署


蓝绿部署是多个模型版本的一种部署方式,使用蓝绿部署方式部署模型版本成功后,获取通过模型融合选优设置的最优版本的结果。


模型融合优选有以下2种方式:

  • 加权平均:部署上线多个模型版本,所有版本在流量配置中获取相同的全流量。根据模型生产指标监控反馈,设置每个模型版本的百分比配置,加权平均后返回一个融合结果,如下图所示:


    ../_images/weighted_average.png


  • 指定唯一:部署上线多个模型版本,所有版本在流量配置中获取相同的全流量。根据模型生产指标监控结果,指定其中一个模型版本返回结果,如下图所示:


    ../_images/specify_only.png



通过以下步骤,使用蓝绿部署方式,升级模型版本:

  1. 在模型列表中,选择模型名称打开 版本管理 页面,查看所有处于 生产中候选 状态的模型版本。

  2. 选择 云端部署 标签,然后在部署实例列表中,选择待升级的模型版本的部署实例名称。

  3. 在打开的 模型部署 页面中,选择 进入配置,选择 +请添加部署版本,在 选择升级版本和方式 弹窗中,选择待升级的目标版本,然后选择 确定

  4. 模型部署 画布栏中,选中 Router 卡片,然后在右侧的 升级路由服务器 > 流量配置 窗口中,选择 蓝绿 升级方式。

  5. 升级路由服务器 > 融合优选 窗口中,设置模型融合优选的方式:

    • 如需使用加权平均方式,在 升级方式 下拉菜单中选择 加权平均,并为每个模型版本分配权重。

    • 如需使用指定唯一方式,在 升级方式 下拉菜单中选择 指定唯一,并选择一个模型版本。

  6. 选择 模型部署 画布栏中的 部署,系统将按配置部署模型版本。

老虎机部署


使用老虎机部署方式部署模型版本成功后,与模型的反馈至结合用于老虎机评优,主要包括以下步骤:

  • 同时部署多个候选模型版本,所有版本的流量配置是通过老虎机的计算在动态中探索的。

  • 将模型的反馈值送入老虎机探索计算。在模型预测过程中,经过每个版本的预测值与反馈的真实值的计算探索,最终只选择精度最高的模型版本返回结果,如下图所示:


    ../_images/multi_armed_bandit.png


通过以下步骤,使用老虎机部署方式,升级模型版本:

  1. 在模型列表中,选择模型名称打开 版本管理 页面,查看所有处于 生产中候选 状态的模型版本。

  2. 选择 云端部署 标签,然后在部署实例列表中,选择待升级的模型版本的部署实例名称。

  3. 在打开的 模型部署 页面中,选择 进入配置,选择 +请添加部署版本,在 选择升级版本和方式 弹窗中,选择待升级的目标版本,然后选择 确定

  4. 模型部署 画布栏中,选中 Router 卡片,然后在右侧的 升级路由服务器 > 流量配置 窗口中,选择 老虎机 升级方式。

  5. 选择 模型部署 画布栏中的 部署,系统将按配置部署模型版本。