Record Restorer

支持解析流经该Stage的数据，将当前批次中符合Input的记录过滤出来。该算子的计算逻辑如下：

  • 从 Redis 中读取对应的缓存最新值，重命名后输出。该算子依赖于 Record Capturer 算子。

  • 因任何原因导致的失败重试，比如集群节点异常，不能保证计算结果幂等。

配置详情

该算子的配置包括 General，Basic，Input/Output，和 CacheConfig 的详细信息，各字段的配置如下：

General

名称

是否必须

描述

Name

Yes

算子名称

Description

No

算子描述

Stage Library

Yes

算子所属的库

Required Fields

No

数据必须包含的字段，如果未包含指定字段，则 record 将被过滤掉

Preconditions

No

数据必须满足的前提条件，如果不满足指定条件，则 record 将被过滤掉。例如：${record:value('/value') > 0}。有关 EL 语句的使用方法，参考 Expression Language。

On Record Error

Yes

对错误数据的处理方式，可选：

  • Discard：直接丢弃

  • Send to Error：发送至错误中心

  • Stop Pipeline：停止流任务运行

Basic

名称

是否必须

描述

Quality Filter

No

根据数据质量过滤处理数据，只有符合质量条件的 record 才会进行此次处理

Input/Output

名称

是否必须

描述

Input Point

Yes

数据输入点，用于触发读取缓存数据，格式为：{模型标识}::{测点标识}。同一行的输入点和输出点之间的 modelId 必须相同，pointId 必须不同。

Restore Point

Yes

缓存中读取的数据，格式为：{模型标识}::{测点标识}。

Output Point

Yes

数据输出点，用于重命名并输出缓存数据，格式为：{模型标识}::{测点标识}。同一行的输入点和输出点之间的 modelId 必须相同，pointId 必须不同。

CacheConfig

名称

是否必须

描述

Cache Type

Yes

选择缓存数据的类型，可选 Redis 存储或 Local 存储。

  • Redis：优点是任务暂停、重启、或重试后，缓存数据不会丢失；缺点是数据处理速度慢，对网络比较敏感。建议网络延迟小于 1ms，否则会影响处理性能。

  • Local：优点是数据处理速度快；缺点是任务暂停、重启、或重试时，缓存数据会丢失。

输出结果

指定的设备和测点数据，会被从缓存中抽取出来，重命名并输出。

输出示例

../../../_images/record_restorer_result3.png