数据归档¶
随着数据量的增加，边缘平台上的数据库中的数据可以归档。归档可以增加数据存储时间。边缘数据归档包含原始数据（遥测、遥信、电度、通用）、5 分钟、10 分钟平均数据和警报数据归档。支持风能和太阳能领域的标准数据格式归档。
应用场景¶
为数据所有者执行更加经济地数据存储，以便用户在未来可以利用这些冷数据进行分析和使用。
功能特性¶
功能列表：
提供数据存档配置页面以自定义归档策略
支持 TSDB和历史告警数据的归档
提供 API 查询/搜索/下载归档文件
支持将归档文件与其他应用程序共享
支持自动删除过期归档文件
淀风和太阳能域的共同归档文件格式
Edge平台提供了简单的数据归档，支持异步方式将数据库中的数据归档到分布式文件系统中，包括：
原始数据归档：
归档AI原始数据：仅可用于归档原始遥测数据
归档DI原始数据：仅可用于归档原始遥信数据
归档PI原始数据：仅可用于归档原始电度数据
归档General原始数据：仅可用于归档原始通用数据
归档RAW原始数据：用于合并归档包括AI、PI、和通用数据类型的数据
告警数据归档：
归档历史告警数据：用于归档历史告警记录数据
自定义归档：
归档AI 5分钟数据：用于归档遥测5分钟数据
归档AI 10分钟数据：用于归档遥测10分钟数据
备注
因为归档会消耗很大的计算和存储资源，所以，Edge平台上可以创建的归档数量存在限制：除了RAW原始数据归档可以最多创建5个以外，其他种类的归档最多只能创建1个。
相关信息¶
原始数据归档¶
归档配置一览表¶
归档配置参数 |
参数值 |
|---|---|
归档开始时间 |
创建归档时指定，指定后不可修改。默认值为创建归档的前一天 |
归档周期 |
1天 |
归档模型和测点选择 |
可自行选择模型和测点 |
归档路径 |
格式为：数据类型/日期/模型ID。例如，AI/20200202/EnOS_Solar_Inverter |
归档文件名 |
文件以资产的Asset ID命名 |
文件编码 |
UTF-8 |
归档文件类型 |
.csv文件 |
归档文件格式 |
见下文说明 |
列分隔符 |
创建归档时指定，不可修改，默认逗号 |
归档文件大小上限 |
无限制 |
是否压缩 |
创建归档时指定，不可修改，默认压缩 |
压缩算法 |
GZIP |
归档存储时效 |
默认1个月，超过设定的时效，数据自动删除 |
AI、PI、Generic、RAW数据归档文件格式¶
以下用一个例子来说明归档文件的格式：
用户选择归档以下测点：
测点ID |
英文名称 |
中文名称 |
|---|---|---|
WTUR.GenActivePW |
Reactive Power Production |
有功功率 |
WTUR.WindSpeed |
Wind Speed |
风速 |
在归档文件中，表头占据前三行，格式如下：
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
WTUR.GenActivePW |
WTUR.WindSpeed |
|---|---|---|---|---|---|
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Reactive Power Production |
Wind Speed |
资产 ID |
资产名称 |
时间 |
UTC时间 |
有功功率 |
风速 |
WindturbineA |
Wind Turbine A in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
123.123 |
4.444 |
在该样例表中，前三行是表头，测点名称分别用ID方式、英文方式、中文方式来描述。前四列为固定内容，从第五列开始为测点列。
测点的排列顺序，根据其priority值升序排列。测点的priority值由用户在模型上配置tag实现。没有priority标签的测点，默认排在最后。
DI数据归档文件格式¶
以下用一个例子来说明归档文件的格式：
用户选择归档以下测点：
测点ID |
英文名称 |
中文名称 |
|---|---|---|
WTUR.STA1 |
Status #1 |
状态1 |
WTUR.STA2 |
Status #2 |
状态2 |
在归档文件中，表头占据前三行，格式如下：
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Point ID |
Point Value |
|---|---|---|---|---|---|
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Point ID |
Point Value |
资产 ID |
资产名称 |
时间 |
UTC时间 |
测点ID |
数值 |
WindturbineA |
Windturbine A in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA1 |
1 |
WindturbineA |
Windturbine A in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA2 |
0 |
WindturbineB |
Windturbine B in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA1 |
0 |
WindturbineB |
Windturbine B in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
WTUR.STA2 |
1 |
样例归档文件中，前三行是采用测点ID、测点英文名称、测点中文名称描述测点的基本信息。第四行开始是数据行。第五列开始为测点，测点排列方式同AI、PI、Generic数据归档文件。
告警数据归档¶
归档配置一览表¶
归档配置参数 |
参数值 |
|---|---|
归档开始时间 |
创建归档时指定，不可修改，默认创建归档的前一天 |
归档周期 |
1天 |
归档模型和测点选择 |
所有模型、所有测点 |
归档路径 |
格式为：数据类型/日期。例如：AI/20190909，DI/20190909 |
归档文件名 |
文件以资产的Asset ID命名 |
文件编码 |
UTF-8 |
归档文件类型 |
.csv文件 |
归档文件格式 |
见下文说明 |
列分隔符 |
创建归档时指定，不可修改，默认逗号 |
归档文件大小上限 |
无限制 |
是否压缩 |
创建归档时指定，不可修改，默认压缩 |
压缩算法 |
GZIP |
归档文件格式¶
Edge平台采用与EnOS完全兼容的方式归档历史告警库中的告警。
归档字段名称 |
原始数据 |
备注 |
|---|---|---|
eventId |
eventId |
告警id，全局唯一，不可变 |
orgId |
orgId |
资产所属id |
assetId |
deviceId |
资产id |
modelId |
modelId |
资产所属模型id |
modelIdPath |
modelIdPath |
模型所属路径 |
measurepointId |
pointId |
资产测点，告警内容中配置的测点，用于判断告警 |
hitRuleId |
RuleBid |
触发的告警规则编号，用户自定义 |
value |
value |
测点值 |
occurTime |
time |
告警发生时间，utc |
localOccurTime |
localTime |
告警发生时间，本地时间，es中存储的是13位的timestamp，告警提供的API，会将数据转化成yyyy-mm-dd hh:mm:ss的格式，即精确到秒 |
recoverTime |
recoverTime |
告警恢复时间，utc |
recoverLocalTime |
recoverLocalTime |
告警发生时间，本地时间，es中存储的是13位的timestamp，告警提供的API，会将数据转化成yyyy-mm-dd hh:mm:ss的格式，即精确到秒 |
recoverReason |
recoverReason |
告警恢复原因 |
createTime |
createTime |
该告警记录的入库时间，utc |
updateTime |
updateTime |
该告警记录的更新时间，utc |
severityId |
severityId |
告警级别标识符，用户自定义 |
severityDesc |
severityDesc |
告警级别描述 |
typeId |
typeBid |
告警类别标识符，用户自定义 |
typeDesc |
typeDesc |
告警类型的具体描述 |
subTypeId |
subTypeBid |
告警子类型标识符，用户自定义 |
subTypeDesc |
subTypeDesc |
告警子类型描述 |
contentId |
contentBid |
告警内容标识符，用户自定义 |
contentDesc |
contentDesc |
告警内容描述 |
eventType |
eventType |
事件类型:0：系统恢复的告警；1：系统触发的告警；2：手动恢复的告警；3：手动插入的告警 |
tag |
tag |
告警标签，告警提供的API，会将tag转化成json的标准格式，即[key1:V1,key2:V2] |
ruleDesc |
ruleDesc |
规则描述 |
assetPaths |
assetPath |
根据告警规则的作用域，返回告警资产在资产树上的路径列表。返回格式为：[“treeId1:/assetId1/assetId2/assetIdx”, “treeId2:/assetId3/assetIdx”] |
maskedBy |
maskedBy |
如果该告警条目是衍生告警，返回导致该告警被屏蔽的根源告警信息。若资产树中，当前资产节点上游有多层的告警屏蔽，则会返回当前节点上游的所有配置告警屏蔽节点，且生成的eventId。返回格式为：[“treeId1:eventId1”, “treeId1:eventId2”] |
备注
对于localOccurTime，recoverLocalTime两个字段，mysql中存储的是timestamp，告警API会将其转成datetime类型，归档时直接存储，格式为yyyy-mm-dd hh:mm:ss
若出现结构体，比如{}，[]类型，存储时统一处理为string，且字符串前后保留{},[]。
若当前归档周期，没有归档任何一条数据，仍然会生成一个包含列头的文件
生成文件时，默认使用GZIP方法压缩，文件扩展名为 .gz 。
5分钟、10分钟遥测数据归档¶
归档配置一览表¶
归档配置参数 |
参数值 |
|---|---|
归档开始时间 |
创建归档时指定，不可修改，默认创建归档的前一天 |
归档周期 |
1天 |
归档模型和测点选择 |
所有模型、所有测点 |
归档路径 |
格式为：数据类型/日期。例如：AI/20190909，DI/20190909 |
归档文件名 |
文件以资产的Asset ID命名 |
文件编码 |
UTF-8 |
归档文件类型 |
.csv文件 |
归档文件格式 |
见下文说明 |
列分隔符 |
创建归档时指定，不可修改，默认逗号 |
归档文件大小上限 |
无限制 |
是否压缩 |
创建归档时指定，不可修改，默认压缩 |
压缩算法 |
GZIP |
归档文件格式¶
Edge平台提供了特有的5分钟、10分钟遥测数据数据归档，用于从时序数据管理中将5分钟或10分钟的遥测数据归档为CSV文件。
归档后的文件格式如以下示例所示：
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
WTUR.GenActivePW_AVG_5m |
WTUR.WindSpeed_AVG_5m |
|---|---|---|---|---|---|
Asset ID |
Asset Name |
Data Time |
Data Time UTC |
Reactive Power Production(avg 5m) |
WindSpeed(avg 5m) |
资产 ID |
资产名称 |
时间 |
UTC时间 |
有功功率五分钟平均值 |
风速五分钟平均值 |
windTurbineC |
windTurbine C in China |
2020-01-01 00:00:00 |
2020-01-01 00:00:00 |
123.123 |
4.444 |
在以上示例归档文件中，前三行是列头的三种描述方式，分别是：ID方式、英文方式、中文方式；第四行开始是归档数据行。
前四列是固定列，分别是：资产ID列、资产名称列、本地时间列、UTC时间列；第五行开始是测点列。测点排列的顺序同AI、PI、Generic数据归档文件。
使用的文件服务的默认路径¶
数据类型 |
路径 |
|---|---|
AI原始数据 |
/EDGE/ARCHIVE/ORIGINAL_AI/ |
DI原始数据 |
/EDGE/ARCHIVE/ORIGINAL_DI/ |
PI原始数据 |
/EDGE/ARCHIVE/ORIGINAL_PI/ |
GENERAL原始数据 |
/EDGE/ARCHIVE/ORIGINAL_GENERIC/ |
RAW原始数据 |
/EDGE/ARCHIVE/ORIGINAL_RAW_*n*/ (n=1~5) |
AI 5分钟数据 |
/EDGE/ARCHIVE/FIVE_MIN_AI/ |
AI 10分钟数据 |
/EDGE/ARCHIVE/TEN_MIN_AI/ |
告警数据 |
/EDGE/ARCHIVE/ALARM/ |