数据归档概述¶
对访问频率较低且占用存储空间很大的业务数据可进行归档存储。
数据归档服务的主要功能组成和架构，如下图所示：
主要功能¶
使用数据归档服务可以实现：
归档实时数据和离线数据
可归档指定模型下的设备采集数据及经流数据处理后生成的实时数据，也可归档来自离线通道的数据。
归档实时告警记录
可归档指定模型下的设备告警记录，支持归档历史告警和当前告警记录中的指定字段。
归档TSDB中存储的数据
可归档存储在TSDB中的历史数据，手动触发归档任务后，执行一次性离线数据归档。
设置文件属性
自定义归档文件的属性，包括文件类型、编码格式、列分隔符、压缩格式及文件大小上限等。结合未来的数据使用场景按需设置，以便对归档的数据进行再分析或开发。
指定归档周期
根据归档文件的数据量和业务对时效性的要求，设置数据归档周期（1小时、12小时、24小时）。选择归档周期越长，周期内处理的数据量越大，并可有效减少因数据延迟到达而生成的小文件数量。
设置存储系统和存储路径
生成的归档文件将根据配置的存储路径信息，自动同步到指定的存储系统中（BLOB或HDFS），实现数据备份。
资源准备¶
数据归档资源
配置数据归档任务前，需确保OU已经通过 EnOS管理门户 > 资源管理 页面申请 数据归档 资源。不同的资源规格对应所有运行中的数据归档任务每秒可归档多少条数据。有关申请 数据归档 资源的详细信息，参见 数据归档资源规格说明。
使用限制¶
使用数据归档服务时，需要注意以下使用限制：
归档任务数量
单个组织内最多可创建10个数据归档任务。
归档开始时间
数据归档以归档任务提交时刻为起点，开始从消息通道中读取新的数据。归档任务提交时对应的归档周期内，若无数据被缓存，则不会生成归档文件。
归档任务失败数据保留时间
当前消息通道默认存储数据的时间为3天。如果归档任务失败后，没有及时重启任务，可能会导致数据丢失。