Latest Record Merger

支持根据表达式生成分组标签,对多组输入的所有测点,根据标签进行分组后输出。对于每一分组,当该组内指定的触发点到达时,触发该组数据输出。该算子的主要功能包括:

  • 支持输入多个模型的多个测点,支持多个输入点作为计算触发点
  • 支持输出多个模型的多个测点,输入点的 modelIdmodelIdPathpointId 会被替换成对应的输出模型和输出测点

配置详情

该算子的配置包括 GeneralBasicInput/Output,和 MergerConfig 的详细信息,各字段的配置如下:

General

名称 是否必须 描述
Name Yes 算子名称
Description No 算子描述
Stage Library Yes 算子所属的库
Required Fields No 数据必须包含的字段,如果未包含指定字段,则record将被过滤掉
Preconditions No 数据必须满足的前提条件,如果不满足指定条件,则record将被过滤掉
On Record Error Yes

对错误数据的处理方式,可选:

  • Discard:直接丢弃
  • Send to Error:发送至错误中心
  • Stop Pipeline:停止流任务运行

Basic

名称 是否必须 描述
Quality Filter No 根据数据质量过滤处理数据,只有符合质量条件的record才会进行此次处理

Input/Output

名称 是否必须 描述
Input Point Yes 单条规则的输入点,即需要进行分组聚合的测点,格式为:{模型标识}::{测点标识}
Is Trigger No 指定是否将该测点作为计算触发点
Output Point Yes 单条规则的输出点,即承载输出结果的测点,格式为:{模型标识}::{测点标识}

MergerConfig

名称 是否必须 描述
Merged By Expression Yes 生成分组标签的表达式
Cache Expire Time (Minute) Yes 输入分组标签不再更新后的缓存失效时间

输出结果

该算子的输出结果包含在 attr 结构体中,各字段的描述如下:

名称 数据类型 描述
/attr/latestRecordMerger Map 聚合后的数据对象
mergedTag String 根据表达式生成的标签
mergedRecords List 分组聚合后的输出数据列表

输出示例

../../../_images/lastest_record_merger.png