新建数据联邦通道


使用数据联邦服务从数据存储系统查询数据或向数据存储系统写入数据前,需要创建对应的读通道或写通道。

前提条件

  • 已被授权数据联邦服务的访问权限

  • 组织已申请数据联邦资源

  • 已通过数据源注册服务,注册所需类型的数据源

  • 已通过 应用注册 页面,创建或购买应用,获得应用的服务账号,用于授权应用使用数据联邦通道

新建通道

通过以下步骤,新建数据联邦通道:

  1. 登录 EnOS 管理控制台,在 企业数据平台 分类下,选择 数据联邦 > 联邦通道管理。如组织尚未申请数据联邦资源,前往 资源管理 页面申请,如组织尚未注册数据源信息,前往 数据源注册 页面注册。

  2. 点击 新建通道,配置通道基础信息并绑定数据源。

  3. 基础信息 一栏中,输入通道名称,选择通道类型(READ、DOWNLOAD、或 WRITE),选择通道用途(测试或生产),并输入对通道的描述。

  4. 数据源 一栏中,点击 添加,在弹窗中配置数据源信息。

    • 选择类型:从下拉列表中选择添加的数据源类型

    • 选择数据源:从下拉列表中选择已注册的数据源

    • 设置别名:为选择的数据源设置别名,别名提交后不能再修改

    • 执行队列:若数据源类型为 HIVE(EnOS),需选择执行队列(通过资源管理申请的批数据处理队列资源)

    _images/data_federation_source.png
  5. 重复步骤4,添加更多数据源(同一数据源不可被重复添加,且数据源别名在通道内必须是唯一的)。

    _images/data_federation_submit.png
  6. 数据源添加完成后,点击 保存并下一步

授权通道

打开 通道授权 页面,将创建的通道授权给指定应用,授权应用通过通道读取、下载、或写入数据。

  1. 在应用列表中,点击指定应用右侧的 授权/撤销 按钮,进行授权及取消授权的操作。

    _images/data_federation_auth_new.png
  2. 完成授权后,点击 完成,提交通道配置。提交后,通道的默认状态为 已停止,需手动启动通道,并指定运行通道需要的资源。

    备注

    授权数据联邦通道可在新建时授权,也可在 数据联邦 > 联邦通道管理 的通道列表中,找到目标通道,点击 授权 图标进行授权。

启动通道

数据联邦通道创建完成后,可通过以下步骤启动通道:

  1. 在通道列表页,找到已创建的通道,点击 启动 图标。

    _images/starting_federation_channel.png
  2. 启动配置 窗口中,完成启动通道的配置信息。

    • 选择已申请的数据联邦资源,用于运行联邦通道。若未申请资源,可前往 资源管理 页面申请。

    • 若通道类型为读通道,选择通道的查询类型(跨源:在使用联邦查询时,可使用统一的 SQL 语句对多数据源进行跨源查询;单源:在使用联邦查询时,需选择查询的数据源,SQL 语句只能作用于已选择的数据源。)。

    • 输入运行通道需要的资源数量。若可用资源不足,可前往 资源管理 页面变更配额。

    _images/starting_federation_channel_1.png
  3. 点击 确定,启动数据联邦通道。

    备注

    如需使用读通道下载文件,查询类型只能为单源查询。当数据源 Hive 使用 JDBC 方式时,复杂查询语句会导致数据返回超时。查询类型详细说明,查看 SQL编写规范

获取通道地址

通道启动成功后,可通过以下步骤获取通道的 URL:

  1. 在通道列表页,找到目标通道,选择 … > 获取地址

    _images/data_federation_url.png
  2. 在弹窗中,复制对应的通用 URL、JDBC URL、或Odata URL,用于通过对应的方式访问数据源。有关通过各类协议对接数据分析工具的详细信息,参见 读写数据

    备注

    下载通道只生成通用 URL。

查看通道日志

当通道状态为启动中、运行或异常时,可通过以下步骤查看通道日志:

  1. 在通道列表页,找到目标通道,选择 … > 查看日志

    _images/data_federation_log.png
  2. 在查看日志页面中,查看 containerName、k8sLog、podName 和 podLog 信息。

  3. 点击 下载日志,下载全量日志 CSV 文件。

    备注

    通道重启后,podID 将会更新。故无法查看历史数据,仅能查看当前最新的日志。