数据归档

随着数据量的增加，边缘平台上的数据库中的数据可以归档。归档可以增加数据存储时间。边缘数据归档包含原始数据（遥测、遥信、电度、通用）、5 分钟、10 分钟平均数据和警报数据归档。支持风能和太阳能领域的标准数据格式归档。

../_images/data_archiving_cn.png

应用场景

为数据所有者执行更加经济地数据存储，以便用户在未来可以利用这些冷数据进行分析和使用。

功能特性

功能列表：

  • 提供数据存档配置页面以自定义归档策略
  • 支持 TSDB和历史告警数据的归档
  • 提供 API 查询/搜索/下载归档文件
  • 支持将归档文件与其他应用程序共享
  • 支持自动删除过期归档文件
  • 淀风和太阳能域的共同归档文件格式

Edge平台提供了简单的数据归档，支持异步方式将数据库中的数据归档到分布式文件系统中，包括：

  • 原始数据归档：
    • 归档AI原始数据：仅可用于归档原始遥测数据
    • 归档DI原始数据：仅可用于归档原始遥信数据
    • 归档PI原始数据：仅可用于归档原始电度数据
    • 归档General原始数据：仅可用于归档原始通用数据
    • 归档RAW原始数据：用于合并归档包括AI、PI、和通用数据类型的数据
  • 告警数据归档：
    • 归档历史告警数据：用于归档历史告警记录数据
  • 自定义归档：
    • 归档AI 5分钟数据：用于归档遥测5分钟数据
    • 归档AI 10分钟数据：用于归档遥测10分钟数据

注解

因为归档会消耗很大的计算和存储资源，所以，Edge平台上可以创建的归档数量存在限制：除了RAW原始数据归档可以最多创建5个以外，其他种类的归档最多只能创建1个。

相关信息

原始数据归档

归档配置一览表

归档配置一览表
归档配置参数 参数值
归档开始时间 创建归档时指定，指定后不可修改。默认值为创建归档的前一天
归档周期 1天
归档模型和测点选择 可自行选择模型和测点
归档路径 格式为：数据类型/日期/模型ID。例如，AI/20200202/EnOS_Solar_Inverter
归档文件名 文件以资产的Asset ID命名
文件编码 UTF-8
归档文件类型 .csv文件
归档文件格式 见下文说明
列分隔符 创建归档时指定，不可修改，默认逗号
归档文件大小上限 无限制
是否压缩 创建归档时指定，不可修改，默认压缩
压缩算法 GZIP
归档存储时效 默认1个月，超过设定的时效，数据自动删除

AI、PI、Generic、RAW数据归档文件格式

以下用一个例子来说明归档文件的格式：

用户选择归档以下测点：

测点信息
测点ID 英文名称 中文名称
WTUR.GenActivePW Reactive Power Production 有功功率
WTUR.WindSpeed Wind Speed 风速

在归档文件中，表头占据前三行，格式如下：

测点信息
Asset ID Asset Name Data Time Data Time UTC WTUR.GenActivePW WTUR.WindSpeed
Asset ID Asset Name Data Time Data Time UTC Reactive Power Production Wind Speed
资产 ID 资产名称 时间 UTC时间 有功功率 风速
WindturbineA Wind Turbine A in China 2020-01-01 00:00:00 2020-01-01 00:00:00 123.123 4.444

在该样例表中，前三行是表头，测点名称分别用ID方式、英文方式、中文方式来描述。前四列为固定内容，从第五列开始为测点列。

测点的排列顺序，根据其priority值升序排列。测点的priority值由用户在模型上配置tag实现。没有priority标签的测点，默认排在最后。

DI数据归档文件格式

以下用一个例子来说明归档文件的格式：

用户选择归档以下测点：

测点信息
测点ID 英文名称 中文名称
WTUR.STA1 Status #1 状态1
WTUR.STA2 Status #2 状态2

在归档文件中，表头占据前三行，格式如下：

测点信息
Asset ID Asset Name Data Time Data Time UTC Point ID Point Value
Asset ID Asset Name Data Time Data Time UTC Point ID Point Value
资产 ID 资产名称 时间 UTC时间 测点ID 数值
WindturbineA Windturbine A in China 2020-01-01 00:00:00 2020-01-01 00:00:00 WTUR.STA1 1
WindturbineA Windturbine A in China 2020-01-01 00:00:00 2020-01-01 00:00:00 WTUR.STA2 0
WindturbineB Windturbine B in China 2020-01-01 00:00:00 2020-01-01 00:00:00 WTUR.STA1 0
WindturbineB Windturbine B in China 2020-01-01 00:00:00 2020-01-01 00:00:00 WTUR.STA2 1

样例归档文件中，前三行是采用测点ID、测点英文名称、测点中文名称描述测点的基本信息。第四行开始是数据行。第五列开始为测点，测点排列方式同AI、PI、Generic数据归档文件。

告警数据归档

归档配置一览表

归档配置一览表
归档配置参数 参数值
归档开始时间 创建归档时指定，不可修改，默认创建归档的前一天
归档周期 1天
归档模型和测点选择 所有模型、所有测点
归档路径 格式为：数据类型/日期。例如：AI/20190909，DI/20190909
归档文件名 文件以资产的Asset ID命名
文件编码 UTF-8
归档文件类型 .csv文件
归档文件格式 见下文说明
列分隔符 创建归档时指定，不可修改，默认逗号
归档文件大小上限 无限制
是否压缩 创建归档时指定，不可修改，默认压缩
压缩算法 GZIP

归档文件格式

Edge平台采用与EnOS完全兼容的方式归档历史告警库中的告警。

告警归档文件格式
归档字段名称 原始数据 备注
eventId eventId 告警id，全局唯一，不可变
orgId orgId 资产所属id
assetId deviceId 资产id
modelId modelId 资产所属模型id
modelIdPath modelIdPath 模型所属路径
measurepointId pointId 资产测点，告警内容中配置的测点，用于判断告警
hitRuleId RuleBid 触发的告警规则编号，用户自定义
value value 测点值
occurTime time 告警发生时间，utc
localOccurTime localTime 告警发生时间，本地时间，es中存储的是13位的timestamp，告警提供的API，会将数据转化成yyyy-mm-dd hh:mm:ss的格式，即精确到秒
recoverTime recoverTime 告警恢复时间，utc
recoverLocalTime recoverLocalTime 告警发生时间，本地时间，es中存储的是13位的timestamp，告警提供的API，会将数据转化成yyyy-mm-dd hh:mm:ss的格式，即精确到秒
recoverReason recoverReason 告警恢复原因
createTime createTime 该告警记录的入库时间，utc
updateTime updateTime 该告警记录的更新时间，utc
severityId severityId 告警级别标识符，用户自定义
severityDesc severityDesc 告警级别描述
typeId typeBid 告警类别标识符，用户自定义
typeDesc typeDesc 告警类型的具体描述
subTypeId subTypeBid 告警子类型标识符，用户自定义
subTypeDesc subTypeDesc 告警子类型描述
contentId contentBid 告警内容标识符，用户自定义
contentDesc contentDesc 告警内容描述
eventType eventType 事件类型:0：系统恢复的告警；1：系统触发的告警；2：手动恢复的告警；3：手动插入的告警
tag tag 告警标签，告警提供的API，会将tag转化成json的标准格式，即[key1:V1,key2:V2]
ruleDesc ruleDesc 规则描述
assetPaths assetPath 根据告警规则的作用域，返回告警资产在资产树上的路径列表。返回格式为：[“treeId1:/assetId1/assetId2/assetIdx”, “treeId2:/assetId3/assetIdx”]
maskedBy maskedBy 如果该告警条目是衍生告警，返回导致该告警被屏蔽的根源告警信息。若资产树中，当前资产节点上游有多层的告警屏蔽，则会返回当前节点上游的所有配置告警屏蔽节点，且生成的eventId。返回格式为：[“treeId1:eventId1”, “treeId1:eventId2”]

注解

  • 对于localOccurTime，recoverLocalTime两个字段，mysql中存储的是timestamp，告警API会将其转成datetime类型，归档时直接存储，格式为yyyy-mm-dd hh:mm:ss
  • 若出现结构体，比如{}，[]类型，存储时统一处理为string，且字符串前后保留{},[]。
  • 若当前归档周期，没有归档任何一条数据，仍然会生成一个包含列头的文件
  • 生成文件时，默认使用GZIP方法压缩，文件扩展名为 .gz 。

5分钟、10分钟遥测数据归档

归档配置一览表

归档配置一览表
归档配置参数 参数值
归档开始时间 创建归档时指定，不可修改，默认创建归档的前一天
归档周期 1天
归档模型和测点选择 所有模型、所有测点
归档路径 格式为：数据类型/日期。例如：AI/20190909，DI/20190909
归档文件名 文件以资产的Asset ID命名
文件编码 UTF-8
归档文件类型 .csv文件
归档文件格式 见下文说明
列分隔符 创建归档时指定，不可修改，默认逗号
归档文件大小上限 无限制
是否压缩 创建归档时指定，不可修改，默认压缩
压缩算法 GZIP

归档文件格式

Edge平台提供了特有的5分钟、10分钟遥测数据数据归档，用于从时序数据管理中将5分钟或10分钟的遥测数据归档为CSV文件。

归档后的文件格式如以下示例所示：

测点信息
Asset ID Asset Name Data Time Data Time UTC WTUR.GenActivePW_AVG_5m WTUR.WindSpeed_AVG_5m
Asset ID Asset Name Data Time Data Time UTC Reactive Power Production(avg 5m) WindSpeed(avg 5m)
资产 ID 资产名称 时间 UTC时间 有功功率五分钟平均值 风速五分钟平均值
windTurbineC windTurbine C in China 2020-01-01 00:00:00 2020-01-01 00:00:00 123.123 4.444

在以上示例归档文件中，前三行是列头的三种描述方式，分别是：ID方式、英文方式、中文方式；第四行开始是归档数据行。

前四列是固定列，分别是：资产ID列、资产名称列、本地时间列、UTC时间列；第五行开始是测点列。测点排列的顺序同AI、PI、Generic数据归档文件。

使用的文件服务的默认路径

    • 数据类型
    • 路径
    • AI原始数据
    • /EDGE/ARCHIVE/ORIGINAL_AI/
    • DI原始数据
    • /EDGE/ARCHIVE/ORIGINAL_DI/
    • PI原始数据
    • /EDGE/ARCHIVE/ORIGINAL_PI/
    • GENERAL原始数据
    • /EDGE/ARCHIVE/ORIGINAL_GENERIC/
    • RAW原始数据
    • /EDGE/ARCHIVE/ORIGINALRAWn/ (n=1~5)
    • AI 5分钟数据
    • /EDGE/ARCHIVE/FIVE_MIN_AI/
    • AI 10分钟数据
    • /EDGE/ARCHIVE/TEN_MIN_AI/
    • 告警数据
    • /EDGE/ARCHIVE/ALARM/