Normalizer


数据处理算子,主要功能为格式转换和数据过滤,包括两种类型:Origin Normalizer 和 Cal Normalizer。


Origin Normalizer 负责转换 Kafka Topic MEASURE_POINT_ORIGIN_{OUID} 中的数据。功能包括完成测点一拆多、输入点过滤、输出格式转换。说明如下:

  • 测点一拆多:将 payload 字段中多个测点数据一条打平为多条

  • 输入点过滤:根据用户流数据处理任务发布时的血缘,过滤出用户需要的输入点记录

  • 输出格式转换:满足 Kafka Topic MEASURE_POINT_INTERNAL_{OUID} 的格式要求,以便下游算子能正确处理。具体格式参见 EDH Kafka Consumer 算子中相关 Topic 的数据格式说明。


Cal Normalizer 负责转换记录为 Kafka Topic MEASURE_POINT_CAL_{OUID} 中的格式。功能包括完成输出点过滤、输出格式转换。说明如下:

  • 输出点过滤:根据用户流数据处理任务发布时的血缘,过滤出用户需要的输出点记录

  • 输出格式转换:满足 Kafka Topic MEASURE_POINT_CAL_{OUID} 的格式要求,以便下游算子能正确处理。具体格式参见 EDH Kafka Consumer 算子中相关 Topic 的数据格式说明。

配置详情

该算子的配置包括 GeneralBasic 的详细信息,各字段的配置如下:

General

名称

是否必须

描述

Name

Yes

算子名称

Description

No

算子描述

Required Fields

No

数据必须包含的字段,如果未包含指定字段,则 record 将被过滤掉

Preconditions

No

数据必须满足的前提条件,如果不满足指定条件,则 record 将被过滤掉。例如:${record:value('/value') > 0}。有关 EL 语句的使用方法,参考 Expression Language

On Record Error

Yes

对错误数据的处理方式,可选:

  • Discard:直接丢弃

  • Send to Error:发送至错误中心

  • Stop Pipeline:停止流任务运行

Basic

名称

是否必须

描述

Normalizer Type

Yes

Normalizer 类型


配置如下图所示:

../../../_images/normalizer1.png