管理 Notebook 实例


智能实验室整合了 Jupyter Notebook,为数据科学家提供模型开发和创作环境。进入智能实验室后,你可以对 Notebook 实例进行以下管理操作:

  • 查看 Notebook 实例

  • 新建 Notebook 实例

  • 编辑 Notebook 实例

  • 删除 Notebook 实例

  • 打开 Notebook 实例进入 JupyterLab 实验环境

前提条件


  • 组织已通过 EnOS 管理控制台 > 资源管理 页面,申请 Notebook 实例所需的 AI 容器计算 资源(资源池)。

  • 已通过 资源配置 > 存储配置 页面,添加 Notebook 实例所需的工作空间存储和数据存储。

新建 Notebook 实例


智能实验室 Notebook 实例支持不同类型的资源池(启用或关闭 HDFS 和数据仓库数据读写权限的资源池)。在新建 Notebook 实例时,可根据业务需要选择不同类型的资源池。

关闭HDFS和数据仓库的数据读写权限


通过以下步骤新建 Notebook 实例(不使用 HDFS 和数据仓库):

  1. 登录 EnOS 管理控制台,从左侧导航栏中选择 智能工作室 > 智能实验室,打开 Notebook 实例首页。

  2. 选择 新建实例,完成 Notebook 实例的基本信息、镜像、和所需资源配置:

    • 实例名称:输入 Notebook 实例的名称

    • 资源池:选择在 资源管理 中已申请的资源池,用于运行 Notebook 实例

    • 镜像:选择 Notebook 实例需使用的镜像或手动输入镜像路径,智能实验室内置了以下框架的镜像可供选择:

      • MXNet

      • Keras

      • PyTorch

      • XGBoost

      • LightGBM

      • TensorFlow

      • PySpark

      • Spark

      • R

    • CPU/内存:根据业务需要,修改 Notebook 实例运行所需的 CPU 和内存资源的请求值和上限值,智能实验室中消耗的请求值和上限值总和不得超过资源池在 资源管理 中设置的请求值和上限值

    • 工作空间存储:选择与资源池对应的存储,作为供 Notebook 实例运行所需的工作空间存储

      • 可选择下拉菜单旁的刷新按钮,以显示新创建的PVC存储;也可选择不使用工作空间存储,但在 NoteBook 里保存的代码或文件重启后会丢失

      • 可在下拉菜单中选择 Add item,快速创建需要的工作空间存储

    • 数据存储:选择与资源池对应的存储,用于存储实验数据,并指定数据挂载点

      • 可选择下拉菜单旁的刷新按钮,以显示新创建的PVC存储

      • 可在下拉菜单中选择 Add item,快速创建需要的数据存储

    • 如果底层资源支持 GPU,选中 GPUs 复选框并指定厂商和数量即可使用 GPU。

  3. 选择 确认,完成创建 Notebook 实例后,Notebook 实例将开始运行。

开启 HDFS 和数据仓库的数据读写权限


开始前准备:

  1. 确保组织已通过 资源管理 页面申请 AI 容器计算,并且申请的资源已启用 HDFS 和数据仓库读写权限。

  2. 通过 资源配置 > 存储配置 页面,使用申请的资源池,添加 Notebook 实例所需的工作空间存储和数据存储。如下图所示:


../_images/adding_storage.png


通过以下步骤新建 Notebook 实例(启用 HDFS 和数据仓库):

  1. 登录 EnOS 管理控制台,从左侧导航栏中选择 智能工作室 > 智能实验室,打开 Notebook 首页。

  2. 选择 新建实例,完成 Notebook 实例的基本信息、镜像和所需资源配置:

    • 实例名称:输入 Notebook 实例的名称

    • 资源池:选择在 资源管理 中已申请的资源池,用于运行 Notebook 实例

    • 镜像:选择 Notebook 实例需使用的镜像(仅可选择 pyspark 或 spark 镜像)

    • CPU/内存:如业务需要,修改 Notebook 实例运行所需的 CPU 和内存资源的请求值和上限值,注意 智能实验室 中消耗的请求值和上限值总和不得超过资源池在 资源管理 中设置的请求值和上限值

    • 工作空间存储:选择与资源池对应的存储,作为供 Notebook 实例运行所需的工作空间存储

      • 可选择下拉菜单旁的刷新按钮,以显示新创建的PVC存储;也可选择不使用工作空间存储,但在 NoteBook 里保存的代码或文件重启后会丢失

      • 可在下拉菜单中选择 Add item,快速创建需要的工作空间存储

    • 数据存储:勾选 挂载Hadoop PVC,开启HDFS和数据仓库的数据读写权限,并添加与资源池对应的存储用于存储实验数据

    • (可选)使用其他keytab文件:上传自定义keytab文件(需确保文件名不能为 data_ouid.keytab 格式)

    • 如果底层资源支持 GPU,选中 GPUs 复选框并指定厂商和数量即可使用 GPU。


    ../_images/creating_notebook_3.png


    ../_images/creating_notebook_4.png


  3. 选择 确认,完成创建 Notebook 实例后,Notebook 实例将开始运行。

打开 Notebook 实例进入 JupyterLab


Notebook 实例开始运行后,在 Notebook 实例列表中选择实例名称或在 Notebook 实例详情页选择 进入 即可进入 JupyterLab 环境开始数据探索和开发。


../_images/jupyterlab.png


有关使用 JupyterLab 进行数据探索和开发的详细信息,参见 JupyterLab Documentation

编辑 Notebook 实例


在 Notebook 实例列表中,选择 view_icon 可打开 Notebook 实例详情页,选择详情页右上角的 编辑 按钮即可编辑 Notebook 实例的以下信息:

  • Notebook 实例需使用的镜像

  • Notebook 实例运行所需的 CPU 和内存资源

  • 添加数据存储空间

  • 设置是否挂载 Hadoop PVC(已开启HDFS和数据仓库的数据读写权限时)

停止 Notebook 实例


若 Notebook 实例的工作空间存储为 共享 访问模式的 PVC 存储,可通过以下步骤停止此 Notebook 实例,从而为其它使用共享 PVC 存储的 Notebook 实例释放资源:

  1. 在左侧导航栏中选择 智能工作室 > 智能实验室

  2. 在 Notebook 实例列表中选择 停止 i_stop

删除 Notebook 实例


当完成模型实验开发,不再需要 Notebook 实例时,可在 Notebook 实例列表中,选中 Notebook 实例后选择 删除 按钮删除 Notebook 实例释放资源。

备注

删除 Notebook 实例之前,需确保 Notebook 上存储的文件可被删除,文件删除后不可恢复,请谨慎操作。