Normalizer¶
数据处理算子,主要功能为格式转换和数据过滤,包括两种类型:Origin Normalizer 和 Cal Normalizer。
Origin Normalizer 负责转换 Kafka Topic MEASURE_POINT_ORIGIN_{OUID}
中的数据。功能包括完成测点一拆多、输入点过滤、输出格式转换。说明如下:
- 测点一拆多:将 payload 字段中多个测点数据一条打平为多条
- 输入点过滤:根据用户流数据处理任务发布时的血缘,过滤出用户需要的输入点记录
- 输出格式转换:满足 Kafka Topic
MEASURE_POINT_INTERNAL_{OUID}
的格式要求,以便下游算子能正确处理。具体格式参见 EDH Kafka Consumer 算子中相关 Topic 的数据格式说明。
Cal Normalizer 负责转换记录为 Kafka Topic MEASURE_POINT_CAL_{OUID}
中的格式。功能包括完成输出点过滤、输出格式转换。说明如下:
- 输出点过滤:根据用户流数据处理任务发布时的血缘,过滤出用户需要的输出点记录
- 输出格式转换:满足 Kafka Topic
MEASURE_POINT_CAL_{OUID}
的格式要求,以便下游算子能正确处理。具体格式参见 EDH Kafka Consumer 算子中相关 Topic 的数据格式说明。
配置详情¶
该算子的配置包括 General 和 Basic 的详细信息,各字段的配置如下:
General¶
名称 | 是否必须 | 描述 |
---|---|---|
Name | Yes | 算子名称 |
Description | No | 算子描述 |
Required Fields | No | 数据必须包含的字段,如果未包含指定字段,则 record 将被过滤掉 |
Preconditions | No | 数据必须满足的前提条件,如果不满足指定条件,则 record 将被过滤掉。例如:${record:value('/value') > 0} 。有关 EL 语句的使用方法,参考 Expression Language。 |
On Record Error | Yes | 对错误数据的处理方式,可选:
|