注册数据源


注册数据源是在通用数据服务上注册和管理数据的第一步,只有注册过的数据源才能通过通用数据服务为数据消费者提供各种类型的数据。


通用数据服务面向不同的使用场景,提供以下方式注册数据源:

  • 对于全新的数据源,通过 手动新建 完成注册。

  • 若需在不同环境或不同 OU 之间共享数据源,通过 导出和导入文件 实现快速注册。

前提条件


开始之前,确保以下事项:

  • 当前帐号已被分配所需的资产权限、操作权限点和包含 数据源 在内的菜单组。如未分配,联系应用管理员。

  • 需要注册的所有 API 接口已按照通用数据服务接口规范进行标准化。更多信息,参见 通用数据服务接口规范

新建数据源


  1. 在左侧导航栏中选择 原始数据 > 数据源

  2. 根据目标数据源的生效范围选择 公有数据源私有数据源 标签页,点击 新建。有关公有/私有数据源的区别,参见 公有/私有数据源

  3. 新建数据源 页面,参考以下信息输入数据源的基本信息。


    字段

    必填/选填

    描述

    示例

    数据源标识符

    必填

    数据源的标识符,填写最多 100 位字符串。需保证在同一作用域(公有/私有)内的唯一性。若私有数据源的标识符与已注册的公有数据标识符重复,传入重复的标识符调用数据源时,系统将使用私有数据源。

    SolarAPI

    数据源名称

    必填

    数据源的名称。填写最多 100 位字符串。

    Solar API

    服务地址

    必填

    数据源的服务地址,通常由传输请求协议和承载 API 服务的服务器域名或 IP 组成。

    http://s-solareeop.apaas-cn5.example.com

    规约

    必填

    若数据源来自 EnOS 指标管理 时,选择 OLAP 2.2OLAP 2.3,其中注册 OLAP 2.3 数据源是从指标管理直接同步原始指标和业务指标至通用数据服务的前提。否则选择 标准

    标准


  4. 接口列表 下,参考以下信息输入需要注册的接口信息。若需注册多个接口,点击 + 添加接口


    分类

    字段

    必填/选填

    描述

    示例

    基础配置

    接口类型

    必填

    根据接口提供的数据的类型,选择 指标累计型测点属性记录。同一数据源下,不可添加重复的接口类型,即:每种类型的接口最多只有一个。

    指标

    基础配置

    接口请求路径

    必填

    接口的资源路径,即 API 访问路径。

    /solar/metrics

    高级配置

    HTTP请求方法

    必填

    接口数据的请求方式,目前支持 GETPOST

    POST

    高级配置

    数值转换标记

    必填

    若需要通用数据服务对接口查询结果进行 string to number 转换,则启用数值转换标记。

    启用

    高级配置

    接口内容类型

    必填

    接口发送的内容类型。目前支持 application/x-www-form-urlencodedapplication/json 两种。

    application/x-www-form-urlencoded

    高级配置

    服务地址

    选填

    若当前 API 接口的服务地址与所属数据源不同,需填写该接口的服务地址。通用数据服务调用该接口时会使用此处填写的地址覆盖所属数据源的服务地址。

    /

    高级配置

    连接超时阈值

    必填

    若连接时间超过阈值,判定为连接超时。填写一个大于 0 的数字,单位 ms,默认值为 10000。

    10000

    高级配置

    请求超时阈值

    必填

    若请求时间超过阈值,判定为请求超时。填写一个大于 0 的数字,单位 ms,默认值为 30000。

    30000

    高级配置

    慢请求阈值

    必填

    若请求时间超过阈值,判定为慢请求。填写一个大于 0 的数字,单位 ms,默认值为 15000。

    15000

    高级配置

    失败请求率熔断阈值

    必填

    若失败请求的比例超过阈值,触发熔断机制。填写一个大于 0、小于或等于 100 的数字,单位 %,默认值为 50。

    50

    高级配置

    慢请求率熔断阈值

    必填

    若慢请求的比例超过阈值,触发熔断机制。填写一个大于 0、小于或等于 100 的数字,单位 %,默认值为 50。

    50

    备注

    通用数据服务在查询多源数据时,为了避免单源不可用或低性能问题对其他源的数据返回产生影响,会对异常数据源采取熔断机制。其实现方式是,以数据源 API 为统计单元,以某数据源 API 的最近 100 次调用为统计范围,统计慢请求数(慢请求是指请求时长超过慢请求阈值的请求)。

    • 若慢请求率超过慢请求率熔断阈值或者失败率超过失败请求率熔断阈值,通用数据服务触发熔断机制,停止该数据源 API 的服务调用 1 分钟。

    • 1 分钟后通用数据服务将恢复该数据源 API 服务到半开状态,允许 10 个请求,若此时熔断条件不满足,熔断结束,否则继续熔断一分钟。

    通用数据服务熔断机制仅作用于数据源 API,对于一次请求中访问多个数据源 API 且部分出现熔断的情况,其他数据源 API 提供的数据仍能通过通用数据服务正常返回,不受熔断影响。

  5. 所有信息填写完成后,点击 提交

导出和导入数据源


按照以下步骤将源 OU 的数据源导入到目标 OU 中,实现数据源的快速共享。

  1. 在源 OU 的左侧导航栏中选择 原始数据 > 数据源

  2. 根据目标数据源的生效范围选择 公有数据源私有数据源 标签页。有关公有/私有数据源的区别,参见 公有/私有数据源

  3. 在数据源列表中,点击目标数据源对应的 导出 Export 。导出的 JSON 文件包含数据源的标识符、服务地址、接口等信息。

  4. 在目标 OU 的左侧导航栏中选择 原始数据 > 数据源

  5. 根据目标数据源的生效范围选择 公有数据源私有数据源 标签页。

  6. 点击 导入 > 上传,选择第 3 步中导出的文件后点击 确定

  7. 在弹窗中确认数据源的服务地址,点击 确定

    备注

    • 若导入文件中的数据源标识符已存在,则更新该数据源,否则进行新增。

    • 注册私有数据源时,若导入文件中的数据源标识符与已注册的公有数据标识符重复,传入重复的标识符调用数据源时,系统将使用私有数据源。

结果


注册成功后,数据源出现在数据源列表中。应用构建者可以查看数据源详情,并进行以下操作:

  • 修改数据源:点击对应数据源行的 编辑 Edit

  • 删除数据源:点击对应数据源行的 删除 Delete 。数据源删除后不可恢复。